Servletでファイルをダウンロードさせる時の質問です。

setContentType("Application/octet-stream")
setHeader("Content-Disposition", "attachment;filename=\"" + fileName + "\"")
このようにした状態で
ServletOutputStreamにダウンロードさせるファイルを書き出しています。

ダウンロードダイアログで保存は出来、ファイルを確認することが出来ますが、
「開く」を選ぶと
C:\Documents and Settings\user\Local .... \downloadFile[1].csv'が見つかりません。ファイル名・・・・
となりExcelが開きません。
pdfファイルでも同じような状況です。（AdobeReaderのエラーになります）

setHeaderとかで何かやってないから出来ないような気がするのですが、
何が間違っているのかわかりません。
教えてください。よろしくお願いします。