単純に会話やイベントシーンの見た目の問題だろ

男→相手女 普通
女→相方男 普通

男→相手男 不快
女→相手女 良い