对于牛顿法的理解，从泰勒展开入手

对于牛顿法的理解，从泰勒展开入手

为什么牛顿法在学习率选取适当的时候，优化效率会优于梯度下降：

蓝色线是目标函数

灰色线是从某点开始的最优下降路线

橙色线是使用梯度下降法

绿色线是使用牛顿法

在a0点对目标函数做泰勒展开，可以直观发现，梯度下降相当于一阶泰勒展开，牛顿法相当于二阶泰勒展开，相对来说，牛顿法的曲线会更加贴合目标函数的曲线。