実際離党して旧安倍派や保守党で合流したらそれなりの勢力にはなるか