摘要： 大致总结一下学到的各个优化算法。 一、梯度下降法 函数的梯度表示了函数值增长速度最快的方向，那么与其相反的方向，就可看作函数减少速度最快的方向。 在深度学习中，当目标设定为求解目标函数的最小值时，只要朝梯度下降的方向前进，就可以不断逼近最优值。 梯度下降主要组成部分： 1、待优化函数f(x) 2、待 阅读全文