ダイアログを表示する前に、
強制的にボタンのフォーカスを取り上げてみては？
ボタンの transferFocus() を呼ぶとか、
他のコンポーネントの requestFocus() を呼ぶとか
（requestFocusInWindow() は 1.4 以降なので）。