あなたのいうクロスバリデーションが1週目と3周目のデータを対象にしたってことならおかしくないんじゃないかと
n週目、に区切るのが気持ち悪い
データが週で偏ってるんでしょ
全体をシャッフルしてクロスバリデーションするならわかるけど