firefox自体の問題だよ。firefox3でだいぶ速くなったよ。
kazehakase+gecko1.9が最強と思われる。

X自体の改善も多分来年中にはカーネルレベルでくると思うので期待しておけ。