ML-WG

摘要： 1。 当执行原地操作时，例如 tensor.add_(x)，将会在一个张量上直接修改数据，而不会创建新的张量。由于修改了张量的数据，因此计算图会失效，即计算图中的操作和输入输出关系都会发生变化。这会导致反向传播无法正确计算梯度。因此，PyTorch 禁止在需要梯度计算的张量上执行原地操作。为了解决这 阅读全文

摘要： 在 PyTorch 中，detach() 方法被用于从计算图中分离一个 Tensor，返回一个新的 Tensor，该 Tensor 与原 Tensor 共享数据存储，但不再与计算图中的任何操作相关联。具体来说，当我们使用 detach() 方法对一个 Tensor 进行分离时，它会创建一个新的 Te 阅读全文