俺はsleep入れてるけど結構安定してるよ。
フレーム数をチェックして多かったら少しずつ
sleep時間延ばしてやるとかしてる。

当然毎回sleep時間を大きく変えてると不安定になる。