pytorch 记录 简单的求梯度和一些小问题

求梯度

不加参数的out.backward()只能对标量求梯度。

为了对向量和矩阵，要在backward()中加入参数，
比如对一个向量去求梯度，得传入一个tensor作为参数，如

传入的参数是待求梯度的系数，所以我们改为10的话可以得到乘以10的梯度值

然后如果用现有手段，求非叶子节点的梯度时会报错！如图中的y梯度不可求。

在此之前，我们先可以用is_leaf方法验证是否为叶子节点。

那么为什么非叶子节点不行？这是因为backward()仅在默认情况下积累叶子节点张量的梯度，因此此时y_grad并没有值。但我们可以用retain_grad方法解决这个问题。

不过在一般情况下，我们的损失值是一个标量，权值参数时叶子节点，所以这种方法并不一定常用。