遺跡の魔鉱戦士さん、勇者パーティから追放されてしまう