深度学习入门基于python的理论与实现-第五章误差反向传播法（个人向笔记）
计算图
计算图是一种图形化表示计算过程的方法，通常用于机器学习和深度学习中。在计算图中，节点代表操作（例如加法、乘法等），边代表数据流动（即操作的输入和输出）。通过计算图，可以清晰地展示计算过程中各个操作之间的依赖关系
结点：操作
边：数据
计算图中各个结点只需要处理和自己有关的计算，也就是计算图可以集中精力于局部计算。
链式法则
链式法则是微积分中的一个基本定理，用于求解复合函数的导数。它描述了如果一个函数由另一个函数所组成，而这两个函数都是可微的，那么复合函数的导数可以通过这两个函数的导数的乘积来计算。
\[\frac{dy}{dx}=\frac{dy}{du}\frac{du}{dx}
\]
图5-7的过程：
正向传播
- 首先输出x、y
- 通过第一个结点+输出t=x+y
- 通过第二个结点\(^2\)输出\(z=t^2=(x+y)^2\)
反向传播
- 首先输出\(\frac{\partial z}{\partial z}\)
- 通过第一个结点 * 上\(\frac{\partial z}{\partial t}\)
- 然后会有两个方向通往x的方向\(\frac{\partial t}{\partial z}\),通往y的方向\(\frac{\partial t}{\partial y}\)
之所以能够这样反向传播，基础就是链式法则
反向传播
加法结点的反向传播
\[z=x+y
\]
正常传播的计算图
反向传播的计算图
乘法结点的反向传播
