それはそうなんだけど
要するに、そこに、一般世間の
数学および数学的なものに対するほのかな偏見が
垣間見えるから引っ掛かるんじゃないだろうか？

「数学では1＋1=2ですけど、社会ではそうとも限りません。
数学がいつも正しいわけじゃありません。
数字でなにもかも割りきれるもんじゃありません。
数学は社会で役立つものとは限りません」というような
余計な前置きがひそかに横たわっているように感じられなくもない。そこが引っ掛かる。

類例として
「数学と違って答えは一つじゃありませんから」
とかもある