拡張したポインタも素のポインタと同じように扱えるようにしとけばいいだろ。
そうしとけばGCなんてライブラリ実装で十分だし。