布袋自身の著書『秘密』によると、父親は韓国人で韓国にも家庭があり、母は「日本での妻」という立場だったとのこと。
貿易商であり1年の大半を国外で過ごしていたため、日本に戻ることはほとんどなく母子家庭同然だったという[32][18]。
紳士かつ厳格な人物で父がいる際の夕食は家族全員が正装してテーブルにつき、マナーにも厳しかったという[32][18]。
映画『新・仁義なき戦い』に、昌龍の役で出演を決めた理由について、「彼の生い立ちと同じく、僕も父親が韓国人で、アウトサイダーとして生きざるを得なかった」と語っている。