2は考え違い。
外れ値に対する予測精度を高めるということは
誤差に追従させるというのと同じ。