>>772 質問の意図が分かりません
BOOL check(double a, double b, double c){
if(a<=0.0 || b<=0.0 || c<=0.0)
return FALSE;
if(a+b>c && a+c>b && b+c>a)
return TRUE;
return FALSE;
}

printf("不正な三角形ですが計算します\n");
↓
printf("不正な三角形です\n");exit(1);