見た目の問題ならウィンドウの枠消せばいいだけじゃないの
webページみたいにウィンドウ内で疑似的にダイアログっぽいものを表示したいってことか?
あれはウィンドウの要素ツリーを弄って強引に実装する
ウィンドウの最前面にサイズ無限大の半透明Canvasを表示してイベントを妨害し、
その上にダイアログっぽいコントロールを置く
SilverlightのChildWindowはそうやってた