梯度下降
梯度的定义
设 \(f:\mathbb{R}^n\rightarrow \mathbb{R}\),其中 \(x=(x_1,x_2,\cdots,x_n)\in \mathbb{R}^n\),\(f(x)\in \mathbb{R}\)。假设 \(f\) 可微,则梯度是一个 \(n\) 维向量,定义为:
其中
梯度有正交性、方向性、最大变化率、线性性。
凸集的定义
设 \(C\subseteq \mathbb{R}^n\)。如果 \(\forall x,y\in C\),\(\lambda\in [0,1]\),都有
则 \(C\) 是凸集。
两个凸集的交集是凸集,凸组合有闭性,凸集有可加性(1),仿射不变性(2)。
(1)\(C_1+C_2=\{x+y\mid x\in C_1,y\in C_2\}\)。
(2)\(L:\mathbb{R}^n\rightarrow \mathbb{R}^m\),\(L(x)=Ax+b\),\(A\in \mathbb{R}^{m\times n},b\in \mathbb{R}^m\)。
凸函数的定义
设 \(f:C\rightarrow \mathbb{R}\),其中 \(C\subseteq \mathbb{R}^n\)。对于 \(\forall x,y\in C\),\(\lambda\in [0,1]\),有
则 \(f\) 为凸函数。
一阶条件:可微函数 \(f\),\(\forall x,y\in C\),有 \(f(y)\ge f(x)+\nabla f(x)^T(y-x)\),其中 \(\nabla f(x)^T(y-x)=\langle \nabla f(x),y-x\rangle\)。
二阶条件:二次可微 \(f\),\(f\) 是凸的当且仅当其 Hessian 矩阵半正定。其中 \(H_{i,j}=\frac{\partial^2 f}{\partial x_i\partial x_j}\),半正定说明 \(\lambda\ge 0\)。注意 Hessian 矩阵是对称矩阵。
最优化问题
设 \(f:\mathbb{R}^n\rightarrow \mathbb{R}\),寻找最优解 \(x^*\in \mathbb{R}^n\) 使得
向量 \(x^*\in \mathbb{R}^n\) 是 \(f\) 的最优解当且仅当 \(\nabla f(x^*)=0\)。
以下考虑凸二次函数:
其中 \(x\in \mathbb{R}^n\),\(Q\in \mathbb{R}^{n\times n}\),且是正定对称矩阵,系数向量 \(b\in \mathbb{R}^n\)。
计算梯度
对于上面函数 \(f\),求他的梯度。
函数 \(f(y)\) 和在 \(x\) 点的线性函数 \(f(x)+\nabla f(x)^T (y-x)\) 在 \(x\) 处梯度相同。
所以设 \(\Delta x=y-x\),则
这里为啥第二个括号等于 \(\nabla f(x)^T \Delta x\) 呢?回忆求编导的公式,应该是 \(f(x+\Delta x)-f(x)\),剩下后两项,而除以 \(\Delta x\) 后 \(\frac{1}{2}\Delta x^TQ\Delta x\) 会在 \(\|\Delta x\|\rightarrow 0\) 的时候 \(\lim \rightarrow 0\),所以剩下来的就是要求的偏导。
对于其中的一项的说明:
这里是因为 \(Q^T=Q\),并且 \(\Delta x^TQx\) 是一个标量,所以一定是对称矩阵。所以可以得到
因此
求解方程 \(\nabla f(x)=0\),则 \(x=-Q^{-1}b\)。
梯度下降法
同样是优化问题
因为梯度反方向是下降最快的地方,所以可以更新变量 \(x\),公式为
注意这里 \(\theta^k\) 的 \(k\) 是上标不是幂次。\(\eta\) 是学习率(Learning Rate)。
def step(self):
with torch.no_grad():
for param in self.params:
param-=self.lr*param.grad
这种梯度的收敛较慢。注意这里学习率不能设置太大,否则容易发散。
以下很多注意点或者说明基于个人实验数据。在不同的 \(f\) 的实验中可能表现不同。
带 Polyak 动量的梯度下降
要解决问题:收敛速度太慢。
引入一个“惯性”,使得收敛速度变快。本质是考虑前一步的更新。
def step(self):
with torch.no_grad():
for i, param in enumerate(self.params):
v=self.V[i]
v.data=self.momentum*v.data-self.lr*param.grad.data
param.data+=v.data
如果 lr 和 momentum 均较大,比如说 \(lr=0.7,momentum=0.5\),可以迅速收敛。但是如果 lr 较大但是 momentum 较小会收敛不了。如果均较小会收敛太慢。如果 lr 较小,momentum 较大,图像在 \(x_1\) 上也会有较大的波动以至于收敛速度较慢。
AdaGrad
要解决问题:学习率要更优。
自适应学习率。通过积累原先的梯度平方和得到。
公式中 \(\circ\) 表示逐项相乘,加 \(\varepsilon\) 的目的是保证分母不为 \(0\)。
def step(self):
with torch.no_grad():
for i, param in enumerate(self.params):
r=self.R[i]
r.data+=param.grad.data*param.grad.data
param.data-=self.lr/(self.eps+torch.sqrt(r.data))*param.grad.data
注意点:
-
lr初始太小会无法收敛。因为每一次 \(r\) 会变大,而 \(\eta\) 过小,所以 \(\frac{\eta}{\epsilon+\sqrt{r}}\) 就会过小,会逐渐消失,每一次步长就太小了。 -
公式中,\(\frac{\eta}{\epsilon+\sqrt{r}}\circ g\) 对于每一位都都是独立缩放的,缩放大小取决于这一个维度的积累的平方和。
RMSProp
要解决问题:学习率不能快速消失导致无法收敛。
只有一部分梯度被累积,可以有效解决问题。
def step(self):
with torch.no_grad():
for i, p in enumerate(self.params):
r=self.R[i]
r.data=self.beta*r.data+(1-self.beta)*p.grad*p.grad
p.data-=self.lr/(self.eps+torch.sqrt(r.data))*p.grad.data
注意点:
-
RMSProp 积累梯度更加的缓慢,可以让自适应学习率的变化不那么快。从而当
lr刚开始很小的时候,并不会出现无法快速收敛的情况。 -
在 \(lr\) 较小的时候,\(\beta\) 越大收敛效果越好。在 \(lr\) 较大的时候,\(\beta\) 只有在适合的时候才可以收敛。
AdaDelta
要解决问题:同上解决,学习率不能快速消失导致无法收敛。
最后一行是更新历史更新量平方的滑动平均值。
def step(self):
with torch.no_grad():
for i, p in enumerate(self.params):
if p.grad is None:
continue
g=p.grad
r=self.R[i]
delta=self.delta[i]
r.data=self.beta*r.data+(1-self.beta)*g*g
G=(torch.sqrt(delta.data+self.eps)/torch.sqrt(r.data+self.eps))*g
p.data-=G
delta.data=self.beta*delta.data+(1-self.beta)*G*G
Adam
Adam 结合了 AdaGrad 和 RMSProp 算法的优点:
-
过去梯度的指数衰减平均。
-
过去梯度的指数衰减的一阶矩估计(类似动量)。
Adam 还包括了偏差校正机制,以在训练初期防止任何偏差向零的倾向。偏差向零”指的是 Adam 算法里计算出来的 “一阶动量(均值)” 和 “二阶动量(方差)” 在训练刚开始时,数值严重偏小,接近于 \(0\)。这会导致模型在第一步更新时,步长变得极小,几乎走不动路。
def step(self):
with torch.no_grad():
for i, p in enumerate(self.params):
if p.grad is None:
continue
g=p.grad
s=self.s[i]
r=self.r[i]
s.data=self.beta1*s.data+(1-self.beta1)*g
r.data=self.beta2*r.data+(1-self.beta2)*g*g
s_hat=s.data/(1-self.beta1**self.t)
r_hat=r.data/(1-self.beta2**self.t)
p.data-=self.lr/(torch.sqrt(r_hat)+self.eps)*s_hat
AdamW
为了防止 Adam 过拟合,有更好的泛化能力,AdamW 在参数更新的最后一步应用权重衰减。
其中 \(\lambda\) 是权重衰减系数。
def step(self):
with torch.no_grad():
for i, p in enumerate(self.params):
if p.grad is None:
continue
g=p.grad
s=self.s[i]
r=self.r[i]
s.data=self.beta1*s.data+(1-self.beta1)*g
r.data=self.beta2*r.data+(1-self.beta2)*g*g
s_hat=s.data/(1-self.beta1**self.t)
r_hat=r.data/(1-self.beta2**self.t)
p.data-=self.lr*(s_hat/(torch.sqrt(r_hat)+self.eps)+self.weight_decay*p.data)
随机梯度下降
如果我们对于所有 \(n\) 的个训练数据一起梯度下降,考虑他们总体梯度的最优方向,可能会太慢。
所以每一次取出一个随机 mini-batch 可以更加迅速的完成算法。
梯度下降法求解凸二次规划问题的收敛性
定理:
梯度下降法求解凸二次规划问题的收敛条件是
这里 \(\alpha\) 是学习率,\(\lambda_max\) 是矩阵 \(A\) 的最大特征值。
证明:
定义误差 \(r_k=x^k-x^*\)。如果算法收敛则满足
有
用欧式范数度量误差大小,
展开成二次型
这里是因为 \(\|v\|_2^2 = v^T v\)。
因为 \(Q\) 对称,所以 \((I - \alpha A)^T = I - \alpha A\),得到:
令 \(A = Q \Lambda Q^T\),其中 \(Q\) 是正交矩阵,即 \(Q^T Q = I\),令 \(y = Q^T r_k\)。
于是:
因为 \(\|y\|_2 = \|Q^T r_k\|_2 = \|r_k\|_2\)。这个是正交不变性。
因为我们每一步要求 \(\|r_{k+1}\|_2 < \|r_k\|_2\),所以
对于 \(\forall \lambda_i\) 成立,因为半正定,所以解得
这便完成了证明。
寻找最优步长
设梯度下降法的搜索方向为:
最优步长 \(\alpha_k\) 是如下线搜索问题的最优解:
将 \(x^k + \alpha d^k\) 代入:
这里第二项需和前面方法一样。
由于 \((d^k)^\top Q d^k > 0\)(\(Q\) 正定),该二次函数的开口向上,取最小值当且仅当:
考虑约束 \(\alpha \geq 0\),最优步长为:
代入 \(d^k = -\nabla f(x^k) = -(Qx^k + b)\)。
所以
这里 \(\alpha_k\ge 0\) 一定满足。
参考资料
- 数值优化算法——牛一帅
以及感谢 DeepSeek。

浙公网安备 33010602011771号