コレクションの速度は、そのコレクションをどう使うかによる。
格納方式が違うコレクション同士のどっちが早いかなんて、一概に言
えるわけないじょ。

参照オンリーでキー値が番号ですむなら、配列かArrayList。
StackやFIFOキューがやりたいならLinkedListがベスト。

参照更新が頻繁に発生するコレクションなら、ハッシュ（Setか
Mapかは用途次第）つかっといた方がよいでしょうが、サーバサ
イドでつかうような場面で延々と更新が発生するようで、且つ
キーがシノニム発生しやすいなら、オープンアドレス法つかって
るコアAPIのHashtableだとちょっとまずいかも。

↑APIのソース読めば、どうしてこういう結論になるのかすぐ分か
るじょ。