確かに行列計算とかはサーバー側で計算したりさばいたりするものではない罠
せいぜい1ミリ秒速くなる程度だし、forループ内でnewしまくりでいいんじゃね？
さらにUIがGUIなら、ボタンとかのイベント待ちの時にGCすればいいだろ。
これが今のプログラミング・スタイルだと思う。