[转]最速下降法

一、最速下降法的理念

     最速下降法是梯度方法的一种实现，它的理念是在每次的迭代过程中，选取一个合适的步长，使得目标函数的值能够最大程度的减小。可以认为是函数的极小值点：

 

由梯度迭代公式可知：, 上式的解释是找到最优的迭代点, 使得函数取得极小值时，求出步长。 

　　概述最速下降法的过程：在每一步的迭代中，从点出发，沿着梯度的负方向（求极小值点）展开一维搜索，直到找到步长最优值，确定新的迭代点。最速下降法的相邻搜索方向都是正交的。 　　

 

二、最速下降法的两个命题和停止条件

2.1 最速下降法的两个命题

命题1 利用最速下降法搜索函数的极小值点，迭代过程产生的序列为, 那么，与 正交对所有都成立。

命题2 利用最速下降法搜索函数的极小值点，迭代过程产生的序列为, 如果 ， 那么。

　　 命题1说明在迭代过程中，没产生一个新点，对应的目标函数值都会下降。命题2说明了最速下降法的下降特性：只要， 就有。对于某个k, 如果，说明满足局部极小点的一阶必要条件，此时,这可以作为停止规则的基础。

 

2.2 几种停止规则

     在实际中，采用数值计算的方法很难恰好得到梯度为0的结果，因此以梯度为0作为停止规则很不恰当。以下,

1.

 

2.

 

 

 

3.

 

4.

 

5.

 

6.

上边的3,4式为1,2式的相对值，而5,6式是为了避免3,4式中的分母过小进行的修改。

 

三、二次型中最速下降法的应用

     首先，二次型的目标函数为 

令: 

则，最速下降法的迭代公式： 

其中， 

当目标函数是二次型函数时，可以确定处的步长的解析式。当时，迭代停止，当时，利用局部极小点的一阶必要条件可得：