さんざん夢のような感じで入れ替わった時の事は詳しくは覚えてない
って言ってる気がするけどなあ
入れ替わった相手の行動は、今後の本人の生活のために
日記その他で残ってるけど、本人に戻って入れ替わり先の
記憶を延々たどる描写ってほとんど無いよ
あとルールも本人が入れ替わった方に分かるように予め用意して
記載してるものだしね

あとこの作品の時間の扱い（タイムリープ）は多世界構造じゃなくて
仮面ライダー電王の様な記憶で道筋が変化する感じのゆるい設定だろうと