すみません、プログラム初心者の質問です。

標準ライブラリ（例えばCなど）って普通、何処にインストールされてるものなのでしょうか？

１．コンパイラ内にあって、コンパイル時に自動でプログラム内に含まれる
２．Windows内のどこかのシステムフォルダにあってそれを参照してる
３．統合開発環境をインストールした時に、対応する言語ごとに個別で含まれている（そのプログラムのフォルダにある）

自分で考え付くのはこれぐらいなんですが、どれなんでしょうか？