古谷は2023年9月まで4年半の間、ファンの女性と不倫の関係にあり、口論になり手をあげたり、妊娠・中絶させたことが報じられ、本人はXを更新し報道された内容が事実と認め謝罪していた。

それを受け、古谷の所属事務所は「名探偵コナン」の安室透役、「ONE　PIECE」のサボ役の降板を発表。古谷はこの2役の降板について、自身のXで《今の自分に唯一できる償いの形》と表現していた。

「不倫報道後、活動休止状態に追い込まれてしまったが、不倫だけならまだしも、DVと中絶でイメージが地に落ちてしまった。もはや、新規の作品オファーが来るとは思えず、年齢的なものもあり、このままひっそり引退状態になるのでは」（テレビ関係者）