新古今和歌集をつくらせ、自らも優れた歌人であった上皇にとって、
都のようには歌を詠み交わす相手のいない暮らしは寂しさが募ったことでしょう。
隠岐での御製をつづった「遠島百首」には、望郷の思いを詠んだ歌がいくつも収められています。
とはいえ、島での日々は不自由ばかりだったわけではありません。
都の知人に手紙を送ったり、九州から刀匠を呼び寄せたりと、島外との交流も続いたといいます。
ときには、島の人々の気持ちにも心が慰められたかもしれません。角を突き合わせて遊ぶ子牛を上皇が面白がったことから、
島民たちは御前で牛を戦わせて喜ばせようとしました。それが隠岐の牛突（うしづ）きのルーツになったとも。
上皇は、そうした島民の暮らしにまなざしを向けたかのような歌も詠みました。

たをやめのそでうちはらふむら雨に
とるやさなへのこゑいそぐらむ
（早乙女姿の袖を吹き払うような通り雨に、田植え歌も急いでいるようだ）

都への帰還がかなわぬまま19年を数え、60歳で上皇が亡くなられると、島の人々はほこらを建てて祭りました。
火葬を行った場所には後に御火葬塚がつくられています。上皇を「ごとばんさん」と慕った島民。
その気持ちは時代を経ても海士の人々に受け継がれ、御火葬塚の隣に隠岐神社が創建されました。