例えば5x5ピクセルを参照して1ピクセルの値を求める場合。
計算上問題がなければ、縦5ピクセルx横1ピクセルの加重平均を横一列分計算して、
次にその結果の横5つを加重平均するようにすれば多少は処理を減らせる。

まあ、それでもぼかしって基本的に参照するピクセルが多くなりがちだからそうそう高速化は。