emerge xfce4-meta とかすればXなんて勝手に入る
テストしたければ.xinitrc空っぽにしてstartxとかすれば良い

twmでテストだとか適当なこと書くなよ