ダウンキャストがオーバヘッドに
なることは間違いないだろ。
Genericsを使えばあらかじめクラスが定められているんだし。
ダウンキャストはまずクラスを検索するだろ。
サブクラスが複数有ればそれだけ検索に時間がかかる。

すまんがよくしらんので適当に言ってみた。

EclipseのByteCode OutLineプラグインを
使えば何かわかるかもしれぬ