>>325
Aを縦に長い行列、xを縦ベクトルとすると、
その問題はAx=0となるxを求める問題と見ることができる。
しかし、そのようなxが存在するとは限らないので
|Ax| を最小にするxを解と認めようというのが重回帰分析の意味。
つまりA'*Aの最小固有値を求める問題と言い換えることができる。
（A'はAの転置行列を表す）

で、あなたの問いに答えるキーワードは条件数と呼ばれるもので
A'*Aの最小固有値と最大固有値の比で特徴づけられることが知られている。