気になるとか、そういう感情はとりあえず脇に置いておいて（まぁ時には直感も大事だが）、
どのようなシーンで、どの程度の誤差が蓄積して、どのような問題が起きたか、
という視点で考えたほうがいいと思う。

実際に問題が起きるのなら、その誤差を減らす方法か、シーンを変えることを考える必要がある。
問題が起きない程度の誤差なら、誤差が蓄積している事だけ覚えておいて、あとは無視できる。

趣味でゲームを作る場合、作る前に悩んでも仕方がないし、意味がない。
これから起こるかもしれないことに対して対策を考えても、
その対策が有功か検討するのに結局作ってみなければならないのだから、
それなら作ってみて問題が起きてから、それに対する対策を考える方が建設的だ。