牛顿法与梯度下降法数学公式推导过程

迭代更新数学公式推导过程

1、牛顿法

首先对于有n个变量的函数的一阶导数为：

　　　　　　　　 

其次对于其二阶导数为：

　　　　　　　　 

 

 

之后关于目标函数的包含二阶导数的泰勒展开式为：

　　　　　　　　 

这时将看成的函数，则根据函数的最小值性质，当偏导数等于0时出取得，从而得到，所以，根据等式的特点得到，只有两者都取0时才能使等式等于0，所以得：　　

　　　　（最小值）

 　　　　  

　　　　

 

 　　　　

故牛顿法的迭代公式为：

 　　　　　　

 

 

 

2、梯度下降法

在开始推导之前，来介绍一下一个概念：梯度（当前函数位置的导数），同时它也表示某一函数在该点处的方向导数沿着该方向取得较大值。

       梯度：

 

  之后这里给出一阶泰勒展开式

      　　　　 

由于都是矢量，则也是矢量，则根据矢量与向量的关系，这时我们可以用一个单位向量V（下一步将要变化的方向）与标量的乘积来表示：，而

 

 便是我们所说的步进长度。这时表达式为：

 

又由我们的目的出发，所以可以我们希望通过这个迭代变化使比小，以此达到最小值。所以由公式，当梯度方向与成反方向时，能最大程度的朝着局部下降的方向变化，使取得最大值。根据与的数学关系，这时可以得出与的计算关系：（一般情况，单位向量都是正向的）

　　　　与

　　　　（由于是标量，可以把它与步进长度合到一起）

　　　　 

故梯度下降法的迭代公式为：