kksk43

摘要： 重点关注带有梯度的变量，特别是累积它们或收集它们的地方 我的问题是，在训练的时候收集logits时，忘记加上.detach()，导致梯度信息也跟着收集，然后内存占用不断上升甚至超过90G 加上.detach()后，就固定在44G不变了 阅读全文