ソースは見てないけど、倍率が１であれば、普通に処理すれば
4点に対する重みが0、1、0、0になるから、画像は変化することはないよ。

ところで、>649が遅いのに>650のやり方で速度は上がったのか？
そんな端の数ピクセルの処理だけで激しく速度が変わるとは思えないんだが。