2021年11月12日
pytorch optimizer.step()和loss.backward()和scheduler.step()的关系与区别
摘要： 疑问： optimizer的step为什么不能放在mini-batch那个循环之外，optimizer.step和loss.backward的区别； 解惑： 首先需要明确optimizer优化器的作用，形象地说，优化器就是需要根据网络反向传播的梯度信息来更新网络参数，以起到降低loss函数计数值的作 阅读全文
posted @ 2021-11-12 09:49 重大的小鸿 阅读(991) 评论(0) 推荐(0)