改変したのは未来なのに、なんで二人とも記憶がなくなるのか、整理できないのだが。

隕石で三葉はじめ町民が被害にあう未来を改変↓
三葉を救おうとした瀧の行動もなかったことに↓
までは分かるんだけど。
デートの日までの記憶は残ってても良くない?三葉が死なない新たな世界線では、入れ替わりそのものがなかったことになったのはなんでなん?