すんませんウソついてました。
Xfce起動時にGNOMEサービスを実行するをオンにしてました。
でもね、オフにしても一旦GTKアプリ動かすとやっぱ数MB程度の差で変わらなくなる。
GNOMEとXfceってメモリに関してはその程度のちがいなん?