基礎論の勉強をはじめたばかりなので馬鹿な質問ですが、教えてください。

数学は集合論から始まるとばかり思っていたのですが、実際基礎論の本を読んでみると、
モデルやら言語やら正体の分からないものが書いてあり困ります。
数学を基礎付けるものってのは集合論の公理ではないのでしょうか？