【机器学习数学】梯度下降法

梯度下降法（gradient descent）/ 最速下降法（steepest descent）求解无约束最优化问题：

                              

 

其中f(x)是R^n上具有一阶连续偏导数的函数，表示目标函数f(x)的极小点。

 

 

梯度下降法：

输入：目标函数f(x)，梯度函数，计算精度e；

输出：f(x)的极小值点

 

 （1）取初始值，置k = 0

 （2）计算

 （3）计算梯度，当   时，停止迭代， 令；否则，令 ，求，使

                            

 （4）置，计算

 

 当或时，停止迭代。令。

 （5）否则，置k = k + 1，转（3）

当目标函数时凸函数时， 梯度下降法的解是全局最优解。一般情况下，其解不保证为全局最优解。梯度下降法收敛速度也未必是最快的。