そもそも「自然数全体の集合」ですら何か共通の信念を持つことに依存してないでしょ。
その実在を信じない人がレアかどうか、ってのは関係ないよね。
何かを真実と信じることはあっても、その信念を「論拠にして」数学的な結論を導いたりはしないんだからさ。