アプリは実行時に-mx○○をつけると設定できるんですよね。
テキストにはJava使用時に常時このオプションをつけられるみたいに書いてあるんですが、
それらしい項目がなかなか見つかりません…。

システムプロパティで設定できそうなのはドライブの仮想メモリ欄の768MBでしょうか。
でもJava使用に768MB割り当てられるってことではありませんよね？