with torch.no_grad()

讲述with torch.no_grad()前，先讲述requires_grad参数。

1. requires_grad

在 \(torch\) 中，\(tensor\) 有一个 requires_grad参数，如果设置为 \(True\)，则反向传播时，该 \(tensor\) 就会自动求导。

\(tensor\) 的requires_grad的属性默认为 \(False\)，若一个节点（叶子变量：自己创建的 \(tensor\)）requires_grad被设置为\(True\)，那么所有依赖它的节点requires_grad都为 \(True\)（即使其他相依赖的 \(tensor\) 的 requires_grad = False）。

import torch

x = torch.randn(10, 5, requires_grad = True)
y = torch.randn(10, 5, requires_grad = False)
z = torch.randn(10, 5, requires_grad = False)
w = x + y + z
print(w.requires_grad)

True

2. with torch.no_grad()

即使一个 \(tensor\) （命名为 \(x\)）的requires_grad = True，由 \(x\) 得到的新 \(tensor\)（命名为 \(w\)）requires_grad也为 \(False\)，且grad_fn也为 \(None\)，即不会对 \(w\) 求导。

import torch

x = torch.randn(10, 5, requires_grad = True)
y = torch.randn(10, 5, requires_grad = True)
z = torch.randn(10, 5, requires_grad = True)
with torch.no_grad():
    w = x + y + z
    print(w.requires_grad)
    print(w.grad_fn)
print(w.requires_grad)

False
None
False