君縄の内容の話をするならば
入れ替わりでなく
その日中に相手が経験したことを、その晩の夢の中で体験する方式の方が良かったかも
その場合だと、互いの生活には、余計な影響を与えないわけだし
「ずっと、ただの夢と思っていた」という言い訳は効くと思う

その上で、「もしかしたら実在の人物？」と思って電話したら
何故か（3年の時を超えて）電話やメールが通じた、という展開なら
「3年差があるのに気付かなかった」のにも理由が付くし
そこから親密になって恋心が芽生えるのも納得できる