paper 166:梯度下降法及其Python实现

参考来源:https://blog.csdn.net/yhao2014/article/details/51554910

      梯度下降法(gradient descent),又名最速下降法(steepest descent)是求解无约束最优化问题最常用的方法,它是一种迭代方法,每一步主要的操作是求解目标函数的梯度向量,将当前位置的负梯度方向作为搜索方向(因为在该方向上目标函数下降最快,这也是最速下降法名称的由来)。
梯度下降法特点:越接近目标值,步长越小,下降速度越慢。

 

posted @ 2018-07-12 11:41  Jason.Hevey  阅读(311)  评论(0编辑  收藏  举报