>描画する際もファイル名などからリストを検索して描画ルーチンに渡しているのでしょうか?

しないよ
描画オブジェクトもテクスチャへのポインタを持たせておけば読み込み時の1回だけでいいだろう?
なんのための参照カウンタだ