ちょこっと書いてみた所
Window Sizeは5×5
Pentium-4 2.4GHzで640×480、24ビットカラーで70ms
同8ビットグレイスケールで20ms
コンパイラはVS.net 2003 ProのC++でSSEもアセンブラもなし最適化は/G6
実数演算しているので整数演算にすればもう少し速くなると思う。

このくらいの速度はでるという参考にでも。