OutputStreamWriterのコンストラクタに
FileWriterじゃなくてFileOutputStreamを与えるとよい。
でOutputStreamWriterをPrintWriterかBufferedWriterに食わせるとグッド。

FileOutputSteram fos = new FileOutputStream("filename", true); // 追加書き込みの指定
OutputStreamWriter osw = new OutputStreamWriter(fos, "Shift_JIS"); // エンコーディングの指定
PrintWriter pw = new PrintWriter(osw, true); // 自動フラッシュの指定