数值优化相关

参考：

https://www.zhihu.com/column/numerical-optimization

 

1. Line search与Trust Region

一个先定方向（梯度方向，牛顿方向（用二阶函数拟合），quasi-Newton方向（拟合hessian矩阵），conjugate gradient方向），再定步长（确定interval，插值）

一个可认为先定范围，再选最小值。

2. Gauss-Newton：

特指非线性最小二乘问题中的，用J^T J拟合Hessian的Quasi-Newton法。

3. Levenberg-Marquadt

特指用J^T J + \lambda I 拟合Hessian方法。主要是J^T J未必严格正定。