ListViewはScrollViewの中に巨大なLinearLayoutを入れ子にしたもの"ではない"よ
見えてる範囲+上下数個分しかViewは作ってない

でもそのくらいの規模なら力技で描画しても何とかなりそうな気がするけどなぁ
プロファイル取って見ないと何ともいえないかも