摘要：0. 前言 上一节中已经介绍了牛顿法的一些原理，在本节中举个具体例子，利用牛顿法求解函数最小值。 1. 例子 求解下列函数最小值： 由于这个函数较为简单，所以利用f对x、y分别求偏导数，再令偏导数等于0，就可以求得极值点，又该函数是凸函数（如果分析不出，可视化函数，如下图），所以极值点就是最小值点， 阅读全文

摘要：牛顿法(Newton Method) 0.引言 与梯度下降法一样，牛顿法也是求解无约束优化问题最早使用的经典算法之一，其基本思想是用迭代点出的一阶导数(梯度)和二阶导数(Hessian矩阵)对目标函数进行二次函数近似，然后把二次模型的极小点作为新的迭代点，并不断重复这一过程，直至求得满足精度的近似较 阅读全文