torch.detach()、torch.detach_()
训练网络的时候希望保持一部分网络参数不变，只对其中一部分的参数进行调整；或训练部分分支网络，并不让其梯度对主网络的梯度造成影响，这时可以使用detach()切断一些分支的反向传播。
1. tensor.detach()
返回一个新的 \(tensor\)，从当前计算图中分离下来，但仍指向原 \(tensor\) 的存放位置，不同之处是requires_grad参数为 \(False\)，得到的这个 \(tensor\) 永远不需要计算梯度。不具有 \(grad\)。
注意：
- 即使之后将
requires_grad设置为 \(True\) ，也不会具有梯度。 - 使用
detach返回的 \(tensor\) 和原始的 \(tensor\) 共同一个内存，即一个修改另一个也会跟着改变。
示例：参数为requires_grad=True，不具有梯度；反向传播 \(backward()\) 有梯度。
import torch
a = torch.tensor([1, 2, 3.], requires_grad=True)
print(a.grad)
out = a.sigmoid()
out.sum().backward()
print(a.grad)
None
tensor([0.1966, 0.1050, 0.0452])
示例：使用detach()分离 \(tensor\)， 原始 \(tensor\) 可进行 \(backward()\)。
import torch
a = torch.tensor([1, 2, 3.], requires_grad=True)
print(a.grad)
out = a.sigmoid()
print(out)
# 添加 detach(), c 的 requires_grad 为 False
c = out.detach()
print(c)
# c 是添加 detach() 后的，不影响 out 的 backward()
out.sum().backward()
print(a.grad)
None
tensor([0.7311, 0.8808, 0.9526], grad_fn=<SigmoidBackward0>)
tensor([0.7311, 0.8808, 0.9526])
tensor([0.1966, 0.1050, 0.0452])
示例：使用detach()分离 \(tensor\)，新的 \(tensor\) 不能进行 \(backward()\)。
\(c\)、\(out\) 的区别是 \(c\) 没有梯度，\(out\) 有梯度。
#使用 c 进行反向传播
c.sum().backward()
print(a.grad)
RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn
示例：使用detach()分离 \(tensor\)，对新的 \(tensor\) 更改，原始 \(tensor\) 也会更改，两者都不能进行 \(backward()\)。
import torch
a = torch.tensor([1, 2, 3.], requires_grad=True)
print(a.grad)
out = a.sigmoid()
print(out)
# 添加 detach(), c 的 requires_grad 为 False
c = out.detach()
print(c)
# 对 c 进行更改，会影响 out
c.zero_()
print(c)
print(out)
# 对 c 进行更改，会影响 out 进行 backward()
out.sum().backward()
print(a.grad)
None
tensor([0.7311, 0.8808, 0.9526], grad_fn=<SigmoidBackward0>)
tensor([0.7311, 0.8808, 0.9526])
tensor([0., 0., 0.])
tensor([0., 0., 0.], grad_fn=<SigmoidBackward0>)
RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation:...
2. tensor.detach_()
detach()与detach_()的区别：detach_()对本身的更改，detach()则生成新的的 \(tensor\)，后面想反悔只需对原来的计算图进行操作即可。
