レイヤーが10枚あって8番目のレイヤーで作業してるときは、

・1〜7番レイヤーを合成済みの画像 *1
・8番レイヤー (編集対象)
・9〜10番レイヤーを合成済みの画像 *2

の3つを合成して表示すりゃいいんだよ。
*1、*2 はアクティブなレイヤーを切り替えるときに計算しておく。

これなら何十枚あってもブラシとかは軽いだろ？