私はﾀｲﾑﾏｼﾝは可能だと思います。思うんですが…

未来から過去へ移動したとすると、その動作がなされる度に段々とﾞ移動先の時間が流れてる世界ﾞの質量が増えてしまう気がするんですが、それは物理的に問題はないのでしょうか?