2017年5月1日
梯度下降
摘要： 梯度下降是优化中常用的一种寻优策略，很自然的被引入NN中。本文只对NN中的梯度下降进行介绍。梯度下降算法的核心就是不断计算当前损失函数的梯度，在NN中为了更好的计算梯度，引出了后向传播算法，其实就是为了计算梯度而已。 Ok，假设我们已经有了一个比较复杂的网络，其中参数theta是我们想要求出来的值。 阅读全文
posted @ 2017-05-01 15:47 御剑飞行 阅读(798) 评论(0) 推荐(0) 编辑