早い追伸申し訳ありません。

やはり危惧したとおりタイマーイベントがたまっている様子。
スレッド化して、currentTimeMillis() で自前でタイマーとって、
連続すぎるタイマーイベントをはじく方針のほうが良いのでしょうか…。

あと不思議なことに、軽い場面（アクションを起こさないかぎり描画をしない）になると
キーの反応がどんどんにぶくなっていきます。
gc()のせい…？？