injectInstrumentation(InstrumentationRegistry.getInstrumentation());
Context context = InstrumentationRegistry.getInstrumentation().getContext();
SharedPreferences pref = context.getSharedPreferences("APP_NAME", Context.MODE_PRIVATE);
pref.edit().putBoolean("INITIALIZED", false).commit();
super.setUp();

みたいな感じで書いてみたんですが、書き換えたPreferenceが内部でうまく読まれていなかったみたいなんですよ。