2021年9月15日
深度学习参数更新方法小结
摘要： 神经网络的学习目的是找到使损失函数的值尽可能小的参数，解决这个问题的过程称为最优化（optimization） 梯度下降法在每次迭代时，需要使用所有的训练数据，这给求解大规模数据的优化问题带来了挑战。 1.SGD 使用参数的梯度，沿梯度方向更新参数，并重复这个步骤多次，从而逐渐靠近最优参数，这个过程 阅读全文
posted @ 2021-09-15 11:24 sunnyfridayzz 阅读(1565) 评论(0) 推荐(0)