ごめん、ちゃんと調べなかった。
manager.confだった。
http://www.voip-info.org/wiki/view/Asterisk+config+manager.conf

標準でtelnetで、5038ポートでアクセス出来る。
ただ、うちのは、bindaddr = 127.0.0.1 になっていたから、まぁ大丈夫かな。iptableでもポートは開けてないし。