gem の Hpricot などの C で書かれた高速なパーサを利用してるライブラリを使う

REXML は「全部 Ruby で書かれてる！ Ruby 最高！」という人が使うライブラリ
遅いなと思ったら（そしてプログラムのインストールが可能な環境なら）即っと乗り換えてよし