> ゲームに２つのウインドウを使いたいと思っているのですが、この場合Direct3Dの初期化はデバイスをウインドウ分つくってやればいいのでしょうか？

おそらく「シングルモニタで１つのディスクトップ上の複数ウインドウ」を
指しているとは思いますが、
その場合はおそらく複数のLPDIRECT3DDEVICEnのデバイスが必要です。
ただし LPDIRECT3Dn の初期化は１回の作成でよいはずです。

しかし複数のウインドウに出力するのが１つのアプリケーションであれば、
バックバッファからＤＣ等に変換し、それぞれのウインドウに表示することもできます、
その場合はLPDIRECT3DDEVICEnの初期化・作成は１つで済みます。

> ゲームに２つのウインドウを使いたいと思っているのですが、この場合Direct3Dの初期化はデバイスをウインドウ分つくってやればいいのでしょうか？
2つです。HWNDとIDirect3DDevice9クラスインスタンス(D3D9.DLL内部でnewされている)は1対1で対応させる必要があります。