自动求导

向量链式法则

• 标量链式法则
  
• 拓展到向量
  
• 例1
  
• 例2
  
  自动求导
  自动求导计算一个函数在指定值上的导数
  计算图
• 将代码分解成操作子
• 将计算表示成一个无环图
  
• 显式构造（Tensorflow/Theano/MXNet)
• 隐式构造（Pytorch/MXNet)
  自动求导的两种模式
• 正向累积
  
• 反向累积（反向传递）
  
  
  a.构造计算图
  b.前向：执行图，存储中间结果
  c.反向：从相反方向执行图，去除不需要的枝