勿論母親が子供を殴ったりして虐待してるなら
母親から引き離す判断もあり得る

けど今回の場合は不倫しただけで虐待はしていない
それなら子供のことを考えて母親の下にいさせるべき