『文春』によれば、帰国した姉と弟は戦時中、親戚にあたる大谷貴義のもとに身を寄せていたという。
https://president.jp/articles/-/29399?page=3

ジャニーの親族
大谷貴義
宝石卸を本業として「日本の宝石王」と呼ばれる一方、政財官界やアンダーグラウンドの世界に隠然たる力をもち、児玉誉士夫らと並ぶ「戦後最大級のフィクサー」と称された。
特に、元首相の福田赳夫とのつながりが強く、「福田の影に大谷あり」と言われた。

人脈
義理の従弟である正示啓次郎（旧大蔵省官僚で元経済企画庁長官）を通じて、福田赳夫を筆頭とする多くの大蔵官僚や政治家と知り合う。
その人脈を活かして宝石商としての地位を不動のものとし、日本宝石クラブの会長職に就任。

作家の吉川英治のすすめにより、長女の享子（1957年度ミス・ユニバース日本代表）が、裏千家14世家元碩叟宗室の三男・大谷巳津彦と結婚。
媒酌人は、吉川夫妻と福田夫妻が勤めた。この婚姻を機に、巳津彦の母方の親戚である旧三和銀行元会長の渡辺忠雄や、裏千家と懇意であった松下幸之助と親交を深めた。
なお、裏千家16世家元千宗室が容子内親王を夫人として迎えたため、三笠宮家とも遠縁となった。

元首相の田中角栄や、国際興業創業者の小佐野賢治、そごう元会長の水島廣雄らと懇意にするのみならず、戦後最大のフィクサー児玉誉士夫、山口組3代目組長田岡一雄、東声会（現・東亜会）会長町井久之ら、アンダーグラウンドの世界にも顔が利いた。
許永中は若い頃に大谷のボディーガード兼運転手をしていた。

大谷が死去した際、葬儀委員長は福田赳夫が務めた。