別に犯罪かどうかは関係ないだろ
例えば今の時代だと人種差別発言でもしようものなら芸能界干されるだろうし
不倫は異性を軽く見てるとみなされるから差別発言と同等の扱いを受けるってだけ