２Ｄ程度ならJavaでたいしたことないっつーの
３Ｄはjava3Dがオープンになった今後の動き次第だろうね


そもそもメインスレッドでポーリングしてると他の処理に負荷かかるので
結果としてなめらかに動かない
hotspotはバックグラウンドでガリガリコンパイルするし場合によっては
並列GCで動いている可能性もあるかもしれない
サウンド周りはLine使うので定期的に動くスレッドが必要

これらに負荷かけてまでポーリングしていたらJavaは重いって言われるの当たり前