準ニュートン法は導関数なしで使えるが。応用できないか?



制約なし最適化問題に対する準ニュートン法 （非線形計画法）
http://zeus.mech.kyushu-u.ac.jp/~tsuji/java_edu/QNewton.html


準ニュートン法、最適化手法の相互の関連性、そして私が感じたこと - Seeking for my unique color.
ニュートン法は目的関数を2次で近似したものだったが、目的関数が2次でないと、
ヘッセ行列が正定値行列になるとは限らず、ニュートン方向が降下方向になる保証がない。
準ニュートン法は、目的関数の勾配方向になるようなベクトルを作り出す。
そのときに、勾配をテーラー展開によって近似し、ヘッセ行列の近似を計算できるようにした。
http://d.hatena.ne.jp/syou6162/20091102/1257128190


劣微分を使った最適化手法を紹介しました - 射撃しつつ前転
http://d.hatena.ne.jp/tkng/20110204/1296840535