2019年3月13日
一文搞懂深度学习中的梯度下降
摘要： 本文算是对常用梯度图下降的算法综述，从方向导数开始得到梯度下降的原始算法，接着描述了动量梯度下降算法。 而由于超参数学习率对梯度下降的重要性，所以梯度算法就有多个自适应梯度下降算法。 主要有以下内容： 方向导数和梯度下降 梯度下降的形式，批量梯度下降，SGD以及mini batch 梯度下降 梯度下 阅读全文
posted @ 2019-03-13 10:19 Brook_icv 阅读(18442) 评论(2) 推荐(14) 编辑