自动微分方法(auto diff)
学习机器学习的同学在学习过程中会经常遇到一个问题，那就是对目标函数进行求微分，线性回归这类简单的就不说、复杂的如神经网络类那些求导过程的酸爽。像我还是那种比较粗心的人往往有十导九错，所以说自动求导就十分有必要了，本文主要介绍几种求导的方式。假设我们的函数为\(f(x,y)=x^2y+y+2\)，目标是求出偏导\(\frac{\partial{f}}{\partial{x}}\)和\(\frac{\partial{f}}{\partial{y}}\)。求导的方式主要分为以下几种
手动求导法(Manual Differentiation)###
首先准备一张纸和一支笔，根据上学时候学到的求导法则，开始计算。最终得到的结果
\(\frac{\partial{f}}{\partial{x}}=2xy\)
\(\frac{\partial{f}}{\partial{y}}=x^2+1\)
上面这个小例子比较简单，口算即可得到答案，但如果方程比较复杂那就难说了。幸好有自动求导的方法，例如符号求导方法。
符号求解法(Symbolic Differentiation)###
符号求导是根据一些求导法则，进行求导。例如我们大学高数学习的\((uv)\prime=u'v+v'u\)，\((u+v)'=u'+v'\)，\((\frac{u}{v})'=\frac{u'v-v'u}{v^2}\)等等，下图是\(g(x,y)=5+xy\)的符号求导工作流程。
原公式在图的左边，求导公式在图的右半部分，求导的过程是先求叶子节点，自下向上。最终对节点进行见之得到求导结果\(\frac{\partial{g}}{\partial{x}}=y\)，这个例子固然简单，但是对于一个更复杂的公式，那么求导符号图将会十分的庞大(表达式膨胀)，另外对于一些变化的公式（硬代码）这种方法就无能为力了：
def fun(a,b):
z=0
for i in range(100):
z = a * np.cos(z + i) + z * np.sin(b - i)
return z
数值求导法(Numerical Differentiation)###
导数的定义是当自变量的增量趋于零时，因变量的增量与自变量的增量之商的极限。
其中\(\varepsilon\)是一个无穷小的数，所以我们可以计算在x=3,y=4这一点对x的偏导数，\(f'(x=3,y)=\frac{f(3+\varepsilon,4)-f(3,4)}{\varepsilon}\)，对应的代码如下：
def f(x, y):
return x**2*y + y + 2
def derivative(f, x, y, x_eps, y_eps):
return (f(x + x_eps, y + y_eps) - f(x, y)) / (x_eps + y_eps)
df_dx = derivative(f, 3, 4, 0.00001, 0)
df_dy = derivative(f, 3, 4, 0, 0.00001)
>>print(df_dx)
24.000039999805264
>>print(df_dy)
10.000000000331966
通过上面的结果我们发现，得出的结果不是十分的精确，并且在对x和y求偏导的整个过程中，至少需要计算3次\(f()\)，也就是说如果有1000个参数，那么至少需要计算1001次\(f()\)，在神经网络中，参数巨多，这样计算效率会比较差。不过这种方法常被用到进行检验得到的求导结果是否正确。
前向自动求导法(Forward-Mode Autodiff)###
前向求导是依赖于数值求导和符号求导的一种求解方法，给定公式\(a+{\varepsilon}b\)，这种被称作dual number,其中a和b是实数，\(\varepsilon\)是一个无穷小的数，并且\({\varepsilon}^2=0\)，举个栗子，\(42 + 24\varepsilon\)，我们可以把它看成42.00000000...24的数值.我们可以通过这种方法(42.0,24.0)来表示，dual number满足以下的运算法则：
- 1.\(\lambda(a+b\varepsilon) = a\varepsilon + b{\lambda}\varepsilon\)
- 2.\((a+b\varepsilon)+(c+d\varepsilon) = (a+c)+(b+d)\varepsilon\)
- 3.\((a+b\varepsilon)\times(c+d\varepsilon) = ac+(ad+bc)\varepsilon+(bd){\varepsilon}^2=ac+(ad+bc)\varepsilon\)
还有一点就是\(h(a+b\varepsilon)=h(a)+b{\times}h'(a)\varepsilon\)。
上图给出了使用前向求导方法计算出\(f(x,y)\)在x=3，y=4这一点\(\frac{\partial{f}}{\partial{x}}(3,4)\)的偏导，同理求出\(\frac{\partial{f}}{\partial{y}}(3,4)\),图中的思路很清晰就不赘述。前向求导方法相对数值求导来说准确率较高，当和数值求导方法一样如果参数过多的时候效率会比较差，因为这种方法需要遍历整个图。
逆向自动求导法(Reverse-Mode Atuodiff)###
TensorFlow采用的是逆向自动求导方法，该方法首先正向遍历整个图，计算出每个节点的值；然后逆向(从上到下)遍历整个图，计算出节点的偏导值，步骤如下图所示；节点内蓝色的数值表示正向计算出的结果，为了方便表达，我们从下到上，从左到右依次标注为\(n_1\)到\(n_7\)，可以看到最后的值\(n_7\)(顶部节点)为42。
在逆向求导过程中使用链式求导方法：
\(\frac{\partial{f}}{\partial{x}}=\frac{\partial{f}}{\partial{n_i}}{\times}\frac{\partial{n_i}}{\partial{x}}\)
先看节点\(n_7\)，作为输出节点\(f=n_7\)，所以导数值为\(\frac{\partial{f}}{\partial{n_7}}=1\),
接着向下计算\(n_5\)，\(\frac{\partial{f}}{\partial{n_5}}=\frac{\partial{f}}{\partial{n_7}}{\times}\frac{\partial{n_7}}{\partial{n_5}}\)，上一步计算出\(\frac{\partial{f}}{\partial{n_7}}=1\)，现在我们只需要计算\(\frac{\partial{n_7}}{\partial{n_5}}\)，从图中我们知道\(n_7=n_5+n_6\)，可以得出\(\frac{\partial{f}}{\partial{x}}=1\)。所以\(\frac{\partial{f}}{\partial{n_5}}=1\)，接下来的步骤可以看上面的图，这里就不赘述了。
逆向自动求导法这种方法十分强大且准确率较高，尤其是有却多的输入。这种发方法仅需要正向和逆向遍历一次即可，这种方法更强大的地方在于能够解决符号求解法中硬代码的问题。
