>金額に上限が無いという仮定がある以上、普通に起こりうる現象だと思うんだが
期待値が有限の場合には、（上限があろうと無かろうと）起こらない現象だよね？

私は、期待値が無限大の場合は特別だと思っていたので理解できなかったが、
やっと理解できました。

確率論では期待値∞の場合も普通に扱うものなの？
たとえば、「これこれの期待値をxとする。このとき、、、、。よってx+1=xが得られた。」
みたいなことを何の注意書きも無く書いて良いものなの？
（私は、確率論は専門で無いので、、、）

実数の四則演算に∞を加えても、「∞*2=∞」とか「∞+1=∞」とか「∞ー∞は不定」などの
規則を導入すれば矛盾しないことには同意します。
これらの計算規則（たとえば∞＋１＝∞）に対応する確率の問題を作ったとしよう。
すると、一般的な感覚とはズレた不思議な現象が起こっている。
しかし、∞を認めて規則を導入する立場からすると、「何も矛盾が起こっていない。」という結論。
一方、∞を認めない（よってx+1=xはぜったに成立しないという）立場からすると、
「∞の期待値という誤った仮定のもと計算したから、x+1=xという矛盾が起こる。」という結論。
君が前者で、私が後者。
おそらくどちらの立場をとる場合も、この不思議な現象をパラドックスと呼ぶと思う。