（动手学深度学习）学习4 自动求梯度

 

 摘抄自

https://tangshusen.me/Dive-into-DL-PyTorch/#/chapter02_prerequisite/2.3_autograd

PyTorch提供的autograd包能够根据输入和前向传播过程自动构建计算图，并执行反向传播。

2.3.1 概念

上一节介绍的Tensor是这个包的核心类，如果将其属性.requires_grad设置为True，它将开始追踪(track)在其上的所有操作（这样就可以利用链式法则进行梯度传播了）。完成计算后，可以调用.backward()来完成所有梯度计算。此Tensor的梯度将累积到.grad属性中。

 

所以每次都需要清0 】】】

 

 

注意在y.backward()时，如果y是标量，则不需要为backward()传入任何参数；否则，需要传入一个与y同形的Tensor。解释见 2.3.2 节。

 

如果不想要被继续追踪，可以调用.detach()将其从追踪记录中分离出来，这样就可以防止将来的计算被追踪，这样梯度就传不过去了。此外，还可以用with torch.no_grad()将不想被追踪的操作代码块包裹起来，这种方法在评估模型的时候很常用，因为在评估模型时，我们并不需要计算可训练参数（requires_grad=True）的梯度。

 

Function是另外一个很重要的类。Tensor和Function互相结合就可以构建一个记录有整个计算过程的有向无环图（DAG）。每个Tensor都有一个.grad_fn属性，该属性即创建该Tensor的Function, 就是说该Tensor是不是通过某些运算得到的，若是，则grad_fn返回一个与这些运算相关的对象，否则是None。

 

 

 

 

 

2.3.2 Tensor

创建一个Tensor并设置requires_grad=True:

x = torch.ones(2, 2, requires_grad=True)
print(x)
print(x.grad_fn)

 

 

 

 

说明是从加法得来的

注意x是直接创建的，所以它没有grad_fn, 而y是通过一个加法操作创建的，所以它有一个为<AddBackward>的grad_fn。

像x这种直接创建的称为叶子节点，叶子节点对应的grad_fn是None

 

 

 

 

print(x.is_leaf, y.is_leaf) # True False

 

 

 

 

先是乘法  后面是均值

z = y * y * 3
out = z.mean()
print(z, out)

 

——————————————————-

 

通过.requires_grad_()来用in-place的方式改变requires_grad属性：

a = torch.randn(2, 2) # 缺失情况下默认 requires_grad = False
a = ((a * 3) / (a - 1))
print(a.requires_grad) # False
a.requires_grad_(True)
print(a.requires_grad) # True
b = (a * a).sum()
print(b.grad_fn)

 

 

 

最后一步进行的是sum

所以为sum

注意这里的

a.requires_grad_(True)】】】

2.3.3 梯度

因为out是一个标量，所以调用backward()时不需要指定求导变量：

 

变量的话就需要

【【out.backward() # 等价于 out.backward(torch.tensor(1.))

 因为是标量  与y同形

 

所以这个是说已经进行了反向传导了】】

 

 

 

 

 前面有说过

y = x + 2

z = y * y * 3

out = z.mean()

 

然后有4个数  所以i=4

而且4个都是1

所以赋值为1

【这里的mean应该是说矩阵中的所有数字加起来 然后求均值的意思】

print(x.grad)

 

而这个x.grad就是说对于out求x的导数

输出：

tensor([[4.5000, 4.5000],
        [4.5000, 4.5000]])

 

 

 

 

 因为是对于y的梯度  所以就一排分母就是y1到ym

 

 

所以l对y  y对x

则可以变为2个相乘

然后可以看到是一排分母为x1到xn的排列】】

注意：grad在反向传播过程中是累加的(accumulated)，这意味着每一次运行反向传播，梯度都会累加之前的梯度，所以一般在反向传播之前需把梯度清零。

 

# 再来反向传播一次，注意grad是累加的
out2 = x.sum()
out2.backward()
print(x.grad)

out3 = x.sum()
x.grad.data.zero_()
out3.backward()
print(x.grad)

 

 

 

 

 

可以看到没累加的话求出来的是1

但是累加了前面的4.5则为5.5

x.grad.data.zero_()

这个是设置为0 的】】

————————————————————————-

 

 

 【w和y进行点乘之后 sum只是一个标量，1个值】

 

 

 

x = torch.tensor([1.0, 2.0, 3.0, 4.0], requires_grad=True)
y = 2 * x
z = y.view(2, 2)
print(z)

 现在 z 不是一个标量，所以在调用backward时需要传入一个和z同形的权重向量进行加权求和得到一个标量。

 

 

 

v = torch.tensor([[1.0, 0.1], [0.01, 0.001]], dtype=torch.float)
z.backward(v)
print(x.grad)

 

输出 tensor([2.0000, 0.2000, 0.0200, 0.0020])

 注意，x.grad是和x同形的张量。

 

——————————————————————————

再来看看中断梯度追踪的例子：

x = torch.tensor(1.0, requires_grad=True)
y1 = x ** 2 
with torch.no_grad():
    y2 = x ** 3
y3 = y1 + y2

print(x.requires_grad)
print(y1, y1.requires_grad) # True
print(y2, y2.requires_grad) # False
print(y3, y3.requires_grad) # True

 【】【】

with torch.no_grad():这个的意思是在with句子内的则

requires_grad也为False，且grad_fn也为None,

输出：

True
tensor(1., grad_fn=<PowBackward0>) True
tensor(1.) False
tensor(2., grad_fn=<ThAddBackward>) True
这里可以看到y2的grad为false


可以看到，上面的y2是没有grad_fn而且y2.requires_grad=False的，而y3是有grad_fn的。如果我们将y3对x求梯度的话会是多少呢？

 

 

y3.backward()
print(x.grad)

 

 

输出：

tensor(2.)

 

 

RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn

 

 

所以x的3次方没有进行求导

所以是2+0=0】】

 

——————————————————————————————————————————————————————————

此外，如果我们想要修改tensor的数值，但是又不希望被autograd记录（即不会影响反向传播），那么我么可以对tensor.data进行操作。

 

x = torch.ones(1,requires_grad=True)

print(x.data) # 还是一个tensor
print(x.data.requires_grad) # 但是已经是独立于计算图之外

y = 2 * x
x.data *= 100 # 只改变了值，不会记录在计算图，所以不会影响梯度传播

y.backward()
print(x) # 更改data的值也会影响tensor的值
print(x.grad)

 

 

就是只取data出来看的话 是不会有grad的

 

 

从这里是可以看到  单纯x的话是有grad的

但是x.data是没有的

 

而且这里的求导后为2是因为

y=2x

所以求导后为2

 】】】