コンパイラや最適化の影響があるかも知れない。
単純にはインテルコンパイラ使ってSSE吐いているならその部分は４倍速くなってるはず。