演算子は算術演算とビット演算だけオーバーロードできるようにすれば
それほどの問題はないんじゃないかな?
cout<<みたいな変な使い方さえしなければ。

インデクサもあればコレクションが作りやすいけど。