AdjustWindowRectEx を使って、
クライアント領域が512×512ピクセルぴったりにあわせたウインドウを作りたいのですが、
うまくいきません、どこがよくないのでしょうか？

InitInstance()部に下記のウインドウサイズを変更するコードを追加記述しています。
OSは WindowsXP で、スタイルは XP 標準のやつです。(クラシックではありません)