タイムマシンで未来に行ける可能性があるってのは十分にわかったんです。でも過去は？

何度もこのスレで上っては消えていく話題だけど、
過去に戻るのは個人的に無理だと思うんですよね。例えそれが０．００００１秒前の世界だとしても。
例えばＡさんが過去に戻ると、戻った時点で既に「未来から来たＡさんがいる世界」と「未来からＡさんが来てない世界」で分岐してるんです。
これは人じゃなくても、どんな小さなミクロの物質が未来から来たとしてもです。
それは宇宙そのものを丸ごと一つ増やす事になると思います。

この矛盾を解決するのは、「時間」というものでは無理だと思います。
もしくは、「矛盾が生じても可能。タイムトラベルの数だけ次元が増える」という捉え方なら可能かもしれませんが、
それだと無限大の数の次元が作られるって事ですね。
これでもタイムトラベルは実現できるものでしょうか？