深度学习笔记003AutoDerivative矩阵计算/自动求导

今天跟着沐神学了矩阵计算，包括标量、向量与矩阵三者之间的运算关系（笔记看云记即可），虽然机器学习很少不到矩阵之间的运算，但也花了比较大的篇幅去讲解，了解了向量里的链式法则，学习了正反两种求导方式，着重讲解了反向求导（反向传递）的过程，相对来说比较清晰（不是说沐神讲的不好，只是我菜，需要时间消化）。

随后，用代码实现了一下机器学习可能需要的求导内容，如下：

from mxnet import sym
from mxnet import autograd,nd

# # 将代码分解成操作子，显示构造 （有向无环图）
# a=sym.var()
# b=sym.var()
# c=2*a+b

# # 隐式构造
# with autograd.record():
#     a=nd.ones((2,1))
#     b=nd.ones((2,1))
#     c=2*a+b

# 自动求导的两个模式：1.正向累积，就是从x一级一级算到y； 2.反向求导（反向传递）：从y开始一级 一级算到x（高数思路，bp网络，Back-Propagation）
# 正向执行图时存储中间结果，从相反方向执行图，去除不需要的枝
# 正反向计算复杂度o（n），反向内存复杂度是o（N），因为反向计算需要存储正向计算的所有中间结果
# 优缺点：
#  反向：内存、时间复杂度都是O（n），但是计算了就都存储了；
#  正向：内存复杂度是O(1)，但是计算一个变量的梯度的复杂度是O(n)。

# 自动求导代码实现
# 对y=2（列向量x的转置）乘以（列向量x）
import torch
x= torch.arange(4.0) #可以带上一个参数requires_grad=True，等价于下面的导数存储
print(x)
x.requires_grad_(True)# y关于x的导数存在这里
print(x.grad)
# y的计算
y=2*torch.dot(x,x)
print(y)
print(x.grad)
y.backward() #反向传播求导
print(x.grad)
# 求证结果：2(x·x),等价于2||x||²的导数，也就是4x
print(x.grad==4*x)
print("计算另一个函数——————————————————————————————————————")
print(x.grad)
x.grad.zero_()
print(x.grad)
y=x.sum()
y.backward()
print(x.grad)

#深度学习中，很少计算矩阵的导数，而是批量计算每个样本单独计算的偏导数之和
x.grad.zero_()
y=x*x
y.sum().backward()
print(x.grad)

# 将计算移动到记录的计算图之外
x.grad.zero_()
y=x*x
u=y.detach() #将y变量化，让系统认为y是一个变量而不是一个式子，把它存入u
z=u*x
z.sum().backward()
print(x.grad==u)

x.grad.zero_()
y.sum().backward()
print(x.grad==2*x)

# 利用python的控制流建立的函数，也可以获得变量的梯度：
def f(a):
    b=a*2
    while b.norm() <1000:
        b=b*2
    if b.sum()>0:
        c=b
    else:
        c=100*b
    return c
a=torch.randn(size=(),requires_grad=True)
d=f(a)
d.backward()
print(a.grad)
print(a.grad==d/a)