この件に関しては、文字の結合と加算が同じ演算子なのが混乱の原因だと思う。
暗黙の変換があっても、文字連結演算子なら文字列に変換、加算演算子なら数値に変換とすれば、混乱はない。
そういう意味ではVBの&は偉かった。VB.netは知らないけど。