並行世界、パラレルワールド的に考えるんじゃなく、

瀧が口噛み酒を飲んで入れ替わった時、あるいは片割れ時に三葉に組紐を渡した時点で歴史は改変され、その代償で瀧と三葉及びその周辺の人物から「入れ替わりに関する記憶」だけがスッポリ抜け落ちたのではないかと思いました。

だから最終的には瀧は「なぜか」彗星災害に興味を持ち、「なぜか」高校生の時に糸守まで訪れたという事実しか覚えていない(奥寺先輩が約束を覚えていたのも同様に)。
恐らく三葉も映画では描写されてませんが、「なぜか」高校生の時に東京まで訪れたという事だけは覚えているんじゃないかと。

この「なぜか」というのは「入れ替わりに関する記憶」です。


・・・と、つらつらと個人的な解釈述べましたが、どうですかね？