フォントがギザギザになるのは、ビットマップが用意されていないサイズを
近いサイズのフォントから計算して無理やり表示するためらしい。
http://bugzilla.mozilla.gr.jp/show_bug.cgi?id=1664
http://bugzilla.mozilla.gr.jp/attachment.cgi?id=1215&action=view

オレはFontPatchin' 3のフォントサイズ変更機能を使って、IEの例のように
近似のビットマップがあるサイズに置換して表示させてる。