07 2023 档案
摘要:1。 当执行原地操作时,例如 tensor.add_(x),将会在一个张量上直接修改数据,而不会创建新的张量。由于修改了张量的数据,因此计算图会失效,即计算图中的操作和输入输出关系都会发生变化。这会导致反向传播无法正确计算梯度。因此,PyTorch 禁止在需要梯度计算的张量上执行原地操作。为了解决这
阅读全文
摘要:在 PyTorch 中,detach() 方法被用于从计算图中分离一个 Tensor,返回一个新的 Tensor,该 Tensor 与原 Tensor 共享数据存储,但不再与计算图中的任何操作相关联。具体来说,当我们使用 detach() 方法对一个 Tensor 进行分离时,它会创建一个新的 Te
阅读全文

浙公网安备 33010602011771号