>set に new されてないポインタが渡されたら...
というのはshared_ptrを知っているユーザーなら決して
newしてないオブジェクトを渡さないから少しはマシってことでしょうか？

set/get はない方がいいとは思いますがあらゆるものが不足してなくせないんです
interfaceをどうとかと言っていた方がいましたが・・