>>42
なんの根拠もないけど自分は勝手にこう解釈した。

二人は入れ替わっても100％入れ替わってるわけじゃなくて、少しは元の自我が残ってる。
自分の行動を覚えていないわけだから「誰が」入れ替わっているかは気になるけど、
「どこに」は潜在的に残っている自我のおかげでいちいち気にならない。
自分の住んでるところを確認する人なんていないからな。

最初に言ったように根拠はないけど。
でもこれじゃあやっぱりご都合主義な設定だよな。