数学は公理の上に成り立っているのですよね？

でもZF公理系の公理には論理記号が使われていて
例えば∀は「全ての〜」という意味である、としか(自分が調べた限り)書いていなくて結局ZF公理系も最終的には言語や直感的な思考に頼らなくてはならないのでしょうか？
論理記号もさらに数学的に定義できるのでしたらどなたか教えてい頂けないでしょうか？