boost::shared_ptr<void>とすると、

何でも入るスマートポインタになり
どんなクラスのデストラクタもちゃんと呼ばれる。