EXCELがFPUを拡張精度にしてしまうからだと思う。
何で2回目からかはわからないが。(ウチの環境では1回目から拡張精度で計算の数値)
ウォッチの (x - a) / bはVC++側で計算してるので倍精度で計算の結果になっていると思われ。
_controlfp等でで制御してやればいいと思ふ。精度戻すの忘れずに。