2022年3月4日
几种优化器对比？
摘要： 神经网络优化器对比 待优化参数w,损失函数loss,学习率lr，每次迭代一个batch，，每次迭代一个batch,t表示当前batch迭代的总次数。 1、 计算t时刻损失函数关于当前参数的梯度 2、 计算t时刻一阶动量 和二阶动量 3、 计算t时刻下降梯度： 4、 计算t+1时刻参数： 一阶动量：与 阅读全文
posted @ 2022-03-04 14:02 宋禹臣 阅读(380) 评论(0) 推荐(0)