年が違うことに気づかないのは確かにおかしいけど
タキinミツハが糸守という地名に彗星が落ちたという大事件の場所だと気づいてないのもおかしい
休日に間違えて制服をきたり、曜日もあいまいに記憶してる
ミツハはタキの顔を詳細には覚えてない。会えばわかると思って会いに行ってる

年が違うことにだけ気づいてないならなんでそこだけ気づかないんだって話になるが
全体的に記憶があいまいになるって設定なんだよ
入れ替わり時には日常の記憶を詳細に思い出せない
日常に戻れば入れ替わり時の記憶を詳細に思い出せない