無理。
生ポインタ弄るのが嫌な場合はboost::reference_wrapper的なのを使えばいいが、
operator* 等を使うのが嫌という要求は言語仕様の埒外。