時間って、なぜ一方方向にしか進まないのだろう?過去の空間はどこに行ったのだろう?

今の常識は時間は一方通行だが、逆に進んだり、過去が行けてもおかしくないのではないのだろうか?