力あった人間がそれを失えば余程の人望が無いと周りから離れるのは当然
古いけど田中角栄もそういう時期あった