今昔物語集とかの段階ですでに唐人や高麗人は当然として天竺やら波斯やらまで大体こんな人間が住んでるって知識があって
それとは別に「オニ」っていうのが想像されてるからオニ=〇〇人説みたいなの自体に無理がある
「鬼」の漢字について言えば元々の意味は死装束姿のことだし