model.zero_grad() & optimizer.zero_grad()

　有两种方式把模型的参数梯度设成0：

model.zero_grad()
optimizer.zero_grad()#当optimizer=optim.Optimizer(model.parameters())时，两者等效

　如果只想要把某一Variable的梯度置为0，只需要以下语句：

Variable.grad.data.zero_()

 

---

参考1：model.zero_grad() 与 optimizer.zero_grad()

---