みなさん、いろいろありがとうございました。
解決、までには至ってないですが、エラーの原因はつきとめました。
結局、アルゴリズムが悪かったようです。

Aという倍精度の実数をIF文で0の場合をはじいておいても、
A=AQRT(A)
とするとどうやらA=0となってしまうことがあるようです。
なので、そのあとでB/Aをすると０割りによりNanになるみたいです。
０割りを防ぐにはどのようにIF文などをつければいいのでしょうか？
案があれば聞かせてください。