ScrollViewはScrollerが動いている限りscrollToするだけのViewGroupなんだから、
入れたもの全部に対して描画しようと頑張っているので遅いんじゃないの
その辺はListViewにしたほうが賢いと思うのだが

あとネットワークから取得したものを一時的にキャッシュとしてファイルに保存するのは常套手段なんだから、
「意味がないです」ってばっさり切り捨てないで少しは検討してみろよｗ
かくかくスクロールには関係ないとしてもさ