このゲームでの期待値に違和感があるひとは
このゲームではなく、有限の金額だけを扱うゲームでおこる
「期待値は 損をしたり得をしたりするその中間あたり」 という感覚が
このゲームにも通用すると考えているからではないだろうか。

このゲームは扱う金額に最大値（上限）がないうゲームなので、期待値というものは
「得られる金額と、それが得られる確率の積の  得られる金額の種類分の総和」であって
それ以上ではない。

たとえば、最初に選んだ封筒を開ける前の時点での、封筒に入っている金額の期待値は無限大だが
封筒を開けてしまえば、そこにはかならず有限の金額が書いてある。 
つまり、いつでも封筒を開ける前の期待値よりも小さい金額しか手に入れることができない。
封筒を開ける前の期待値は、いつでも実際に手に入れる金額よりも上になる。
これはその後封筒を交換しようがしまいが変わらない。

有限の金額のゲームでの「期待値は 損をしたり得をしたりするその中間あたり」 ということは起こらないのである。 
その立場から物を言えば、このゲーム（封筒を開けるゲーム）はいつでも損をするという評価になるだろう。