いくらレンズを大きくしたって
ピントをあわすために絞るから
画像が結ばれる範囲は小さいですよ

魚眼レンズをイメージしてもらえばわかるかと。

ドアの穴が、ただの穴だったら相手の顔の一部くらいしか
見えませんが、普通の距離です。顔も通常の大きさです。

魚眼レンズの場合は相手の体全体まで見えますが、
遠くに見えます。顔も小さく見えますし、中心から離れるにつれ
更に小さく見えるようになります。

レンズによって視界が広がる分、その広がった分の画像を
補間するために、画像自体をかなり大きくするしかありませんが、
そうするとHMDの範囲を大きく超えますし、視界のはじっこは
かなり歪んできてしまいます。