べつに返納してもせんでもナンバーそのものは消えへんから、
役所で誤登録されたら意味がないし、手元でIC連動で出来る便利なことが減るだけやろ

なんならカード手元に無いから誤登録の事実が分からんくなる悪手なのでは