摘要:本文算是对常用梯度图下降的算法综述,从方向导数开始得到梯度下降的原始算法,接着描述了动量梯度下降算法。 而由于超参数学习率对梯度下降的重要性,所以梯度算法就有多个自适应梯度下降算法。 主要有以下内容: 方向导数和梯度下降 梯度下降的形式,批量梯度下降,SGD以及mini batch 梯度下降 梯度下 阅读全文
posted @ 2019-03-13 10:19 Brook_icv 阅读 (3905) 评论 (0) 编辑