まぁマジレスすると

円の方程式を (x-a)^2+(y-b)^2=r^2 とする
誤差 dr を点から円への距離の差分とする。つまり dri = ((xi-a)^2+(yi-b)^2)^0.5 - r
dri^2 = (xi-a)^2+(yi-b)^2 - 2*r*((xi-a)^2+(yi-b)^2)^0.5 + r^2
この二乗の和を求める
S = Σdri^2 = Σ{(xi-a)^2+(yi-b)^2 - 2*r*((xi-a)^2+(yi-b)^2)^0.5 + r^2}
これを a , b , r で微分する
dS/da = -2Σxi + 2na -2rΣ((xi-a)/((xi-a)^2+(yi-b)^2)^0.5)
dS/db = -2Σyi + 2nb -2rΣ((yi-b)/((xi-a)^2+(yi-b)^2)^0.5)
dS/dr = -2Σ((xi-a)^2+(yi-b)^2)^0.5 + 2nr
dS/da = 0 , dS/db = 0 , dS/dr = 0 となる a , b , r が求める円の方程式の係数である。
方程式解くのはがんばれ