Xサーバーが必要になるとすると求めてるものとは違うんじゃないか？
なんでWindowsでQt使いたいか知らないけど。