导数、偏导数、方向导数、梯度、梯度下降

导数

设有一元函数
 \(\normalsize y=f(x)\)
 
则函数在点 \(\normalsize x_{0}\) 处的导数为
 
 \(\normalsize f^{'}(x_{0})=\lim_{\Delta x\rightarrow 0}\frac{f(x_{0}+\Delta x)-f(x_{0})}{\Delta x}\)
 
求出来的值是 \(\normalsize y\) 在 \(\normalsize x_{0}\) 处沿 \(\normalsize x\) 方向的变化率即
 
 \(\normalsize \Delta y=\Delta x f^{'}(x_{0})\)
 
也是 \(\normalsize f(x)\) 在 \(\normalsize x_{0}\) 处的切线的斜率
 
如果函数有极小值，那么使 \(\normalsize x\) 不断沿着切线方向减少，可以得到使 \(\normalsize y\) 最小的 \(\normalsize x\)
即通过下面的迭代，算出来的 \(\normalsize x\) 可以使 \(\normalsize y\) 最小
 
 \(\normalsize x := x - \alpha f^{'}(x)\)
 
其中 \(\normalsize \alpha\) 是步长，即沿切线方向变化的大小，必须取一个很小的值

偏导数

设有多元函数
 \(\normalsize y=f(X)=f(x_{1},…,x_{i},…,x_{n})\)
 
则函数在点 \(\normalsize X^{0}=(x_{1}^{0},...,x_{i}^{0},...,x_{n}^{0})\) 处沿 \(\normalsize x_{i}\) 方向的偏导数为
 
 \(\normalsize \frac{\partial f(X^{0})}{\partial x_{i}^{0}}=\lim_{\Delta x_{i}\rightarrow 0}\frac{f(x_{1}^{0},...,x_{i}^{0}+\Delta x_{i},...,x_{n}^{0})-f(X^{0})}{\Delta x_{i}}\)
 
求出来的值是 \(\normalsize y\) 在 \(\normalsize X^{0}\) 处沿 \(\normalsize x_{i}\) 方向的变化率即
 
 \(\normalsize \Delta y=\Delta x_{i} \frac{\partial f(X^{0})}{\partial x_{i}^{0}}\)
 
也是 \(\normalsize f(X)\) 在 \(\normalsize X^{0}\) 处沿 \(\normalsize x_{i}\) 方向的切线的斜率（函数在 \(\normalsize X^{0}\) 处有不同方向的多条切线）
计算过程是只把一个坐标轴当成变量，其他轴当成常量，这样变成对一元函数求导
其实偏导就是对多元函数的某个二维切面求导
 
举个简单的例子
 \(\normalsize z = x^{2} + y^{2}\)
 
该函数是一个以坐标原点为顶点的旋转抛物面

 
求在 \(\normalsize x\) 方向的偏导，就是把 \(\normalsize y^{2}\) 当常数然后求导，结果为
 \(\normalsize \frac{\partial z}{\partial x}=2x\)
 
实际上固定 \(\normalsize y\) 得到的是一个二维切面，这个切面实际上是一条抛物线
该抛物线形状不受 \(\normalsize y\) 取值的影响，\(\normalsize y\) 的变化影响的是抛物线的位置
就像 \(\normalsize y=x^{2}+b\) 在 \(\normalsize x\) 处的导数即切线斜率不受 \(\normalsize b\) 值的影响
 
可以看到导数和偏导数本质上是一样的，都是求函数值沿某个坐标轴方向的变化率
只不过导数针对一元函数，偏导数针对多元函数

方向导数

偏导数只能求函数值在某个坐标轴方向的变化率，方向导数则是求函数值在任意方向的变化率
 
设有多元函数
 \(\normalsize y=f(X)=f(x_{1},...,x_{i},...,x_{n})\)
 
则函数在点 \(\normalsize X^{0}=(x_{1}^{0},...,x_{i}^{0},...,x_{n}^{0})\) 处沿任意方向 \(\normalsize l\) 的导数为
 
 \(\normalsize \frac{\partial f(X^{0})}{\partial l}=\lim_{\Delta \rho\rightarrow 0}\frac{f(x_{1}+\Delta x_{1},...,x_{i}+\Delta x_{i},...,x_{n}+\Delta x_{n})-f(X^{0})}{\Delta\rho}\)
 
其中
 \(\normalsize \Delta\rho=\sqrt{(\Delta x_{1})^2+...+(\Delta x_{i})^2+...+(\Delta x_{n})^2}\)
 \(\normalsize l= (\Delta x_{1},...,\Delta x_{i},...,\Delta x_{n})\)
 \(\normalsize l\) 的方向由 \(\normalsize (\Delta x_{1},...,\Delta x_{i},...,\Delta x_{n})\) 各个值的比例关系决定
 
可以看到偏导数是方向导数的一个特例，即 \(\normalsize l\) 只在一个方向上有值的话就是偏导数
 
将 \(\normalsize l\) 转换为余弦向量，可以通过偏导数求出方向导数
比如
 
 \(\normalsize g = f(x,y,z) = x^{2} + y^{3} + z^{4}\)
 
要求导的点为
 
 \(\normalsize (1,1,1)\)
 
要求导的方向为
 
 \(\normalsize l = (2,-2,1)\)
 
\(\normalsize l\) 的长度为
 
 \(\normalsize \sqrt{(2)^{2}+(-2)^{2}+(1)^{2}} = 3\)
 
转为余弦向量
 
 \(\normalsize l = (cos\alpha,cos\beta,cos\gamma) = (\frac{2}{3},-\frac{2}{3},\frac{1}{3})\)
 
则有
 
 \(\normalsize \frac{\partial f}{\partial l}=\frac{\partial f}{\partial x}cos\alpha +\frac{\partial f}{\partial y}cos\beta +\frac{\partial f}{\partial z}cos\gamma\)
   \(\normalsize =2xcos\alpha + 3y^{2}cos\beta + 4z^{3}cos\gamma\)
   \(\normalsize =2\times1\times \frac{2}{3} + 3\times1\times (-\frac{2}{3}) + 4\times1\times \frac{1}{3}\)
   \(\normalsize =\frac{2}{3}\)

梯度

方向导数是为了求函数值在某个点沿某个方向的变化率
梯度则是为了求函数值在某个点处变化率最大的方向，梯度由各个轴的偏导函数组成
 
设有多元函数
 
 \(\normalsize y=f(X)=f(x_{1},...,x_{i},...,x_{n})\)
 
其在 \(\normalsize X^{0}=(x_{1}^{0},...,x_{i}^{0},...,x_{n}^{0})\) 处的梯度为
 
 \(\normalsize \nabla f(X^{0}) = (\frac{\partial f(X^{0})}{\partial x_{1}^{0}},..., \frac{\partial f(X^{0})}{\partial x_{i}^{0}},...,\frac{\partial f(X^{0})}{\partial x_{n}^{0}})\)
 
可以看到梯度是一个向量，代表函数值变化率最大的方向
 
并且该梯度向量在每个轴的分量是函数在该轴的偏导数

梯度下降

如果函数有极小值，那么使 \(\normalsize X\) 不断沿着梯度方向减小，可以得到使 \(\normalsize y\) 最小的 \(\normalsize X\)
即通过下面的迭代，算出来的 \(\normalsize X\) 可以使 \(\normalsize y\) 最小
 
  \(\normalsize X := X - \alpha \nabla f(X)\)
 
其中 \(\normalsize \alpha\) 是步长，即沿梯度方向变化的大小，必须取一个很小的值