それは場合によって違う。

証明論とかは普通の算術であることもあるけど、
モデル理論とかだと集合論を仮定したり、連続体仮説を仮定すると
どういうことが言えるかを調べたりとかまでする。

いずれにせよ、最近ではメタ数学は有限の立場じゃないといけないのかどうかとか、
メタ数学で排中律を使って良いのかどうかとか、そういう問題意識はあまり流行らない。