そもそも作中でカイドウに明確に格下扱いされてるし
カイドウが「俺と対等に戦えるのなんて一部だぞ」ってシーンでシャンクスはいたのにビッグマムはいなかったからな
この時点でカイドウからは格下扱いされてるってことや