僕もやってみた。
３Dでは無反応で、２Dでは起動時に警告が出た。
やっぱり128MBと認識される。
でも、ホストの実VRAMは64MB。

設定は
svga.maxWidth = "8192"
svga.maxHeight = "8192"
svga.vramSize = "268435456"
mks.enable3d = "FALSE"

メッセージは
！ビデオRAMが足りません。
仮想マシンの最大解像度は、6688x5016 に制限されます。構成されている最大解像度の 8192x8192 を使用するには、
仮想マシンの構成ファイルで svga.vramSize = "268435456" を設定し、仮想マシンに割り当てられるビデオRAMの量を増やしてください。