梯度下降法

梯度

梯度定义：梯度是导数对多元函数的推广，为多元(或一元)对各个自变量偏导数形成的向量。函数\(f(x_{1},x_{2},...,x_{n})\)的梯度记为\(\nabla f=(\frac{\partial f}{\partial x_{1}},\frac{\partial f}{\partial x_{2}},...,\frac{\partial f}{\partial x_{n}})^{T}\)

eg：求\(f(x)=x^2\)在\(x=2\)时的梯度

\(Sol：f^{'}(x)=2x\)，将\(x=2\)代入得\(f^{'}(x)=4\)，注意，这里的\(4\)并不是指一个数，而是一个向量，准确来说应为\(4\vec{i}\)，其中\(\vec{i}\)表示沿\(x\)轴正方向的单位向量，即梯度为沿\(x\)轴正方向，大小为\(4\)个单位的向量，若将\(x=2\)改为\(x=-2\)，则梯度变成了与\(x=2\)大小相同，方向相反的向量。显然，在\(x>0\)时，\(f(x)\)的梯度\(\nabla f>0\)，在\(x>0\)时，\(x\)增大，\(f(x)\)也会增大；在\(x<0\)时，\(f(x)\)的梯度\(\nabla f<0\)，在\(x<0\)时，\(x\)增大，\(f(x)\)会减小；而这也表明，沿着梯度方向函数值会增大，反之会减小，该结论可推广至n元函数

对于一元函数而言，梯度方向只有两个，沿x轴正向和反向。而对二元函数，梯度方向有
无数个,即xoy平面上的所有向量均有可能为梯度，但它们均可由沿x轴方向的向量和沿y轴
方向的向量合成而来,同理这个情况可推广到n元函数上去。同时，对于梯度，我们更关心
的是梯度的方向，即向量在各个方向的比例，梯度的大小则不是很重要，因为它可以通过乘
以一个常数来改变，比如向量(2,4)和(1,2)的方向是一样的，它们在x和y上的比例均为1:2

方向导数

定义：方向导数是自变量沿着某一方向变化时的导数,对于函数\(f(x)\)，(此处的\(x\)指自变量集合，不一定只含有一个变量)，其在点\(x\)处沿着方向\(v\)的方向导数为：

\[\frac{\mathrm{d} f_{v} }{\mathrm{d} t}=\lim_{t \to 0}\frac{f(x+tv)-f(x)}{t}=v \cdot \nabla f \]

其中”\(\cdot\)“为向量内积，对于一元函数，\(v\)可用\(1\)和\(-1\)来代表\(x\)轴的正负向，对于二元函数，则可用\(v=(cos\theta ，sin\theta )\)来表示，即\(\theta =0\)时，\(v=(1，0)\)，表示\(x\)轴正向，而\(\theta =\pi\)时，\(v=(-1，0)\)，即表示\(x\)轴负向。对于多维的情况也可以此类推。由于方向导数是自变量沿某一方向变化，因此对于二元函数\(z=f(x,y)\)而言，其变化的方向范围均应在\(xoy\)平面内，不包含\(z\)轴方向上的变化，对于一元函数\(y=f(x)\)则只有\(x\)轴正负两个方向。

注意方向导数与导数式子定义的区别，对于导数有：

\[f^{'}(x)=\frac{\mathrm{d} f}{\mathrm{d} x}=\frac{\mathrm{d} y}{\mathrm{d} x}=\lim_{t \to 0}\frac{f(x+t)-f(x)}{t} \]

此处的\(x+t\)是指\(x\)沿\(x\)轴变化\(t\)，由于是沿着\(x\)轴变化，因此\(dt=dx\)，该式表明了在函数某点\(x\)上移动一小步，\(y\)相应会移动的比例。而对于方向导数的式子，以二元函数\(z=f(x,y)\)为例，指的是曲面上的某点\((x_{0},y_{0})\)，沿着\(xoy\)平面上的某个方向变化\(t\)，此时\(dt \ne dx\)，它指的是曲面上某点\((x_{0},y_{0})\)，沿着\(xoy\)平面上某个方向移动一小步，\(z\)相应移动的比例。对于一元函数而言，某点上的方向导数与导数相同或互为相反数，即：

\[\frac{\mathrm{d} f_{v} }{\mathrm{d} t}=\frac{\mathrm{d} f }{\mathrm{d} x}或\frac{\mathrm{d} f_{v} }{\mathrm{d} t}=-\frac{\mathrm{d} f }{\mathrm{d} x} \]

eg：函数\(f(x,y)\)沿着直线

\[x^{'}=x+tcos\theta \]

\[y^{'}=y+tcos\theta \]

以方向\(v=(cos\theta,sin\theta)\)向\((x,y)\)趋近，求点\((x,y)\)处的方向导数

\(Sol：\)

\(\begin{equation} \begin{aligned} \frac{\mathrm{d} f_{v} }{\mathrm{d} t}=&\lim_{t \to 0}\frac{f(x+tcos\theta,y+tsin\theta)-f(x,y)}{t} \\ =&\frac{f(x+tcos\theta,y+tsin\theta)-f(x,y+tsin\theta)}{t}\\ &+\frac{f(x,y+tsin\theta)-f(x,y)}{t}\\ =&\frac{\partial f}{\partial x} cos\theta+\frac{\partial f}{\partial y}sin\theta \\ =&(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y})\cdot(cos\theta,sin\theta)\\ =&||(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y})||\cdot1\cdot cos\varphi \end{aligned} \end{equation}\)

其中\(cos\varphi\)为向量\((\frac{\partial f}{\partial x},\frac{\partial f}{\partial y})\)与\((cos\theta,sin\theta)\)的夹角，显然，当\(\varphi=\pi\)，即与梯度方向相反时，方向导数最小，为梯度的模的相反数，当\(\varphi=0\)，即与梯度方向相同时，方向导数最大，与梯度的模相等