大内義隆の末子の大内歓寿丸[12]は、大寧寺の変の後に女装して山中に隠れて生活していた[3][4][7]。しかし、翌年の1552年に陶の兵に捕らえられ[3]、兄大内義尊と同じこの地で殺された[3]（当時5歳）。このとき男児であるという証拠のために、歓寿丸の陰茎が切断され持ち帰られたとされる[3][4]。このことを不憫に思った住人がその霊を慰めるために観音堂を作った[3][4][5][13]。やがて、祠は本来の大内歓寿丸の慰霊の意味に加えて子宝祈願や健康増強の場として意味を持つようになり[3][14]、多くの参拝者で賑わうようになった