11 2021 档案
摘要:引言 在模型训练时,每个Batch反向传播完成后我们需要手动清除计算图上本次迭代的所有梯度 在阅读不同的代码时,总能看到不同的清空代码: model.zero_grad() optimizer.zero_grad() 正文 上述两种梯度清空的方式均有效,区别在于起作用的范围不同 model.zero
阅读全文
posted @ 2021-11-30 10:19
Chaosun

浙公网安备 33010602011771号