梯度下降

梯度的定义

设 \(f:\mathbb{R}^n\rightarrow \mathbb{R}\),其中 \(x=(x_1,x_2,\cdots,x_n)\in \mathbb{R}^n\),\(f(x)\in \mathbb{R}\)。假设 \(f\) 可微,则梯度是一个 \(n\) 维向量,定义为:

\[\nabla f=(\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},\cdots ,\frac{\partial f}{\partial x_n}) \]

其中

\[\frac{\partial f}{\partial x_i}=\lim_{\Delta x_i\rightarrow 0}\frac{f(x_1,x_2,\cdots,x_i+\Delta x_i,\cdots ,x_n)-f(x_1,x_2,\cdots, x_n)}{\Delta x_i} \]

梯度有正交性、方向性、最大变化率、线性性。

凸集的定义

设 \(C\subseteq \mathbb{R}^n\)。如果 \(\forall x,y\in C\),\(\lambda\in [0,1]\),都有

\[\lambda x+(1-\lambda)y\in C \]

则 \(C\) 是凸集。

两个凸集的交集是凸集,凸组合有闭性,凸集有可加性(1),仿射不变性(2)。

(1)\(C_1+C_2=\{x+y\mid x\in C_1,y\in C_2\}\)。

(2)\(L:\mathbb{R}^n\rightarrow \mathbb{R}^m\),\(L(x)=Ax+b\),\(A\in \mathbb{R}^{m\times n},b\in \mathbb{R}^m\)。

凸函数的定义

设 \(f:C\rightarrow \mathbb{R}\),其中 \(C\subseteq \mathbb{R}^n\)。对于 \(\forall x,y\in C\),\(\lambda\in [0,1]\),有

\[f(\lambda x+(1-\lambda)y)\le \lambda f(x)+(1-\lambda)f(y) \]

则 \(f\) 为凸函数。

一阶条件:可微函数 \(f\),\(\forall x,y\in C\),有 \(f(y)\ge f(x)+\nabla f(x)^T(y-x)\),其中 \(\nabla f(x)^T(y-x)=\langle \nabla f(x),y-x\rangle\)。

二阶条件:二次可微 \(f\),\(f\) 是凸的当且仅当其 Hessian 矩阵半正定。其中 \(H_{i,j}=\frac{\partial^2 f}{\partial x_i\partial x_j}\),半正定说明 \(\lambda\ge 0\)。注意 Hessian 矩阵是对称矩阵。

最优化问题

设 \(f:\mathbb{R}^n\rightarrow \mathbb{R}\),寻找最优解 \(x^*\in \mathbb{R}^n\) 使得

\[f(x^*)=\min_{x\in \mathbb{R}^n}f(x) \]

向量 \(x^*\in \mathbb{R}^n\) 是 \(f\) 的最优解当且仅当 \(\nabla f(x^*)=0\)。

以下考虑凸二次函数:

\[f(x)=\frac{1}{2}x^TQx+b^Tx \]

其中 \(x\in \mathbb{R}^n\),\(Q\in \mathbb{R}^{n\times n}\),且是正定对称矩阵,系数向量 \(b\in \mathbb{R}^n\)。

计算梯度

对于上面函数 \(f\),求他的梯度。

函数 \(f(y)\) 和在 \(x\) 点的线性函数 \(f(x)+\nabla f(x)^T (y-x)\) 在 \(x\) 处梯度相同。

所以设 \(\Delta x=y-x\),则

\[\begin{aligned} f(x + \Delta x) &= \frac{1}{2} (x + \Delta x)^\top Q (x + \Delta x) + b^\top (x + \Delta x) \\[6pt] &= \frac{1}{2} x^\top Q x + \frac{1}{2} \Delta x^\top Q x + \frac{1}{2} x^\top Q \Delta x + \frac{1}{2} \Delta x^\top Q \Delta x + b^\top x + b^\top \Delta x \\[6pt] &= \underbrace{\left( \frac{1}{2} x^\top Q x + b^\top x \right)}_{f(x)} + \underbrace{\left( \frac{1}{2} \Delta x^\top Q x + \frac{1}{2} x^\top Q \Delta x + b^\top \Delta x \right)}_{\nabla f(x)^\top \Delta x} + \frac{1}{2} \Delta x^\top Q \Delta x \\[6pt] &= f(x) + \nabla f(x)^\top \Delta x + \frac{1}{2} \Delta x^\top Q \Delta x \end{aligned} \]

这里为啥第二个括号等于 \(\nabla f(x)^T \Delta x\) 呢?回忆求编导的公式,应该是 \(f(x+\Delta x)-f(x)\),剩下后两项,而除以 \(\Delta x\) 后 \(\frac{1}{2}\Delta x^TQ\Delta x\) 会在 \(\|\Delta x\|\rightarrow 0\) 的时候 \(\lim \rightarrow 0\),所以剩下来的就是要求的偏导。

对于其中的一项的说明:

\[\Delta x^TQx=(\Delta x^TQx)^T=x^TQ^T\Delta x=x^TQ\Delta x \]

这里是因为 \(Q^T=Q\),并且 \(\Delta x^TQx\) 是一个标量,所以一定是对称矩阵。所以可以得到

\[\nabla f(x)^T\Delta x=x^TQ\Delta x+b^T\Delta x=(x^TQ+b^T)\Delta x=(Qx+b)^T\Delta x \]

因此

\[\nabla f(x)=Qx+b \]

求解方程 \(\nabla f(x)=0\),则 \(x=-Q^{-1}b\)。

梯度下降法

同样是优化问题

\[\min_{x\in \mathbb{R}^n}f(x) \]

因为梯度反方向是下降最快的地方,所以可以更新变量 \(x\),公式为

\[\theta^{k+1}=\theta^k-\eta_x\nabla f(\theta^k) \]

注意这里 \(\theta^k\) 的 \(k\) 是上标不是幂次。\(\eta\) 是学习率(Learning Rate)。

def step(self):
        with torch.no_grad():
        for param in self.params:
            param-=self.lr*param.grad

这种梯度的收敛较慢。注意这里学习率不能设置太大,否则容易发散。

以下很多注意点或者说明基于个人实验数据。在不同的 \(f\) 的实验中可能表现不同。

带 Polyak 动量的梯度下降

要解决问题:收敛速度太慢。

引入一个“惯性”,使得收敛速度变快。本质是考虑前一步的更新。

\[\begin{aligned} v&\leftarrow\alpha v -\eta g\\ \theta&\leftarrow\theta+v \end{aligned} \]

def step(self):
    with torch.no_grad():
        for i, param in enumerate(self.params):
            v=self.V[i]
            v.data=self.momentum*v.data-self.lr*param.grad.data
            param.data+=v.data

如果 lr 和 momentum 均较大,比如说 \(lr=0.7,momentum=0.5\),可以迅速收敛。但是如果 lr 较大但是 momentum 较小会收敛不了。如果均较小会收敛太慢。如果 lr 较小,momentum 较大,图像在 \(x_1\) 上也会有较大的波动以至于收敛速度较慢。

AdaGrad

要解决问题:学习率要更优。

自适应学习率。通过积累原先的梯度平方和得到。

\[\begin{aligned} r&\leftarrow r+g\circ g\\ \theta&\leftarrow\theta-\frac{\eta}{\varepsilon+\sqrt{r}}\circ g \end{aligned} \]

公式中 \(\circ\) 表示逐项相乘,加 \(\varepsilon\) 的目的是保证分母不为 \(0\)。

def step(self):
        with torch.no_grad():
            for i, param in enumerate(self.params):
                r=self.R[i]
                r.data+=param.grad.data*param.grad.data
                param.data-=self.lr/(self.eps+torch.sqrt(r.data))*param.grad.data

注意点:

  • lr 初始太小会无法收敛。因为每一次 \(r\) 会变大,而 \(\eta\) 过小,所以 \(\frac{\eta}{\epsilon+\sqrt{r}}\) 就会过小,会逐渐消失,每一次步长就太小了。

  • 公式中,\(\frac{\eta}{\epsilon+\sqrt{r}}\circ g\) 对于每一位都都是独立缩放的,缩放大小取决于这一个维度的积累的平方和。

RMSProp

要解决问题:学习率不能快速消失导致无法收敛。

只有一部分梯度被累积,可以有效解决问题。

\[\begin{aligned} r&\leftarrow \beta r+(1-\beta)g\circ g\\ \theta&\leftarrow\theta-\frac{\eta}{\epsilon+\sqrt{r}}\circ g \end{aligned} \]

def step(self):
        with torch.no_grad():
            for i, p in enumerate(self.params):
                r=self.R[i]
                r.data=self.beta*r.data+(1-self.beta)*p.grad*p.grad
                p.data-=self.lr/(self.eps+torch.sqrt(r.data))*p.grad.data

注意点:

  1. RMSProp 积累梯度更加的缓慢,可以让自适应学习率的变化不那么快。从而当 lr 刚开始很小的时候,并不会出现无法快速收敛的情况。

  2. 在 \(lr\) 较小的时候,\(\beta\) 越大收敛效果越好。在 \(lr\) 较大的时候,\(\beta\) 只有在适合的时候才可以收敛。

AdaDelta

要解决问题:同上解决,学习率不能快速消失导致无法收敛。

\[\begin{aligned} r&\leftarrow \beta r+(1-\beta)g\circ g\\ g'&\leftarrow\frac{\sqrt{\Delta\theta+\epsilon}}{\sqrt{r+\epsilon}}\circ g\\ \theta&\leftarrow \theta - g'\\ \Delta\theta&\leftarrow\beta \Delta\theta+(1-\beta)g'\circ g'\\ \end{aligned} \]

最后一行是更新历史更新量平方的滑动平均值。

def step(self):
        with torch.no_grad():
            for i, p in enumerate(self.params):
                if p.grad is None:
                    continue
                g=p.grad
                r=self.R[i]
                delta=self.delta[i]
                r.data=self.beta*r.data+(1-self.beta)*g*g
                G=(torch.sqrt(delta.data+self.eps)/torch.sqrt(r.data+self.eps))*g
                p.data-=G
                delta.data=self.beta*delta.data+(1-self.beta)*G*G

Adam

Adam 结合了 AdaGrad 和 RMSProp 算法的优点:

  • 过去梯度的指数衰减平均。

  • 过去梯度的指数衰减的一阶矩估计(类似动量)。

Adam 还包括了偏差校正机制,以在训练初期防止任何偏差向零的倾向。偏差向零”指的是 Adam 算法里计算出来的 “一阶动量(均值)” 和 “二阶动量(方差)” 在训练刚开始时,数值严重偏小,接近于 \(0\)。这会导致模型在第一步更新时,步长变得极小,几乎走不动路。

\[\begin{aligned} t&\leftarrow t+1\\ s&\leftarrow \beta_1 s+(1-\beta_1)g\\ r&\leftarrow \beta_2 r+(1-\beta_2)g\circ g\\ \hat{s}&\leftarrow \frac{s}{1-\beta_1^t}\\ \hat{r}&\leftarrow \frac{r}{1-\beta_2^t}\\ \theta&\leftarrow\theta-\frac{\eta}{\epsilon+\sqrt{\hat{r}}}\circ \hat{s} \end{aligned} \]

def step(self):
    with torch.no_grad():
        for i, p in enumerate(self.params):
            if p.grad is None:
                continue
            g=p.grad
            s=self.s[i]
            r=self.r[i]
            s.data=self.beta1*s.data+(1-self.beta1)*g
            r.data=self.beta2*r.data+(1-self.beta2)*g*g
            s_hat=s.data/(1-self.beta1**self.t)
            r_hat=r.data/(1-self.beta2**self.t)
            p.data-=self.lr/(torch.sqrt(r_hat)+self.eps)*s_hat

AdamW

为了防止 Adam 过拟合,有更好的泛化能力,AdamW 在参数更新的最后一步应用权重衰减。

\[\begin{aligned} t &\leftarrow t+1 \\ s &\leftarrow \beta_1 s + (1-\beta_1)g \\ r &\leftarrow \beta_2 r + (1-\beta_2)g \circ g \\ \hat{s} &\leftarrow \frac{s}{1-\beta_1^t} \\ \hat{r} &\leftarrow \frac{r}{1-\beta_2^t} \\ \theta &\leftarrow \theta - \eta \left( \frac{\hat{s}}{\sqrt{\hat{r}} + \epsilon} + \lambda \theta \right) \end{aligned} \]

其中 \(\lambda\) 是权重衰减系数。

def step(self):
        with torch.no_grad():
            for i, p in enumerate(self.params):
                if p.grad is None:
                    continue
                g=p.grad
                s=self.s[i]
                r=self.r[i]
                s.data=self.beta1*s.data+(1-self.beta1)*g
                r.data=self.beta2*r.data+(1-self.beta2)*g*g
                s_hat=s.data/(1-self.beta1**self.t)
                r_hat=r.data/(1-self.beta2**self.t)
                p.data-=self.lr*(s_hat/(torch.sqrt(r_hat)+self.eps)+self.weight_decay*p.data)

随机梯度下降

如果我们对于所有 \(n\) 的个训练数据一起梯度下降,考虑他们总体梯度的最优方向,可能会太慢。

所以每一次取出一个随机 mini-batch 可以更加迅速的完成算法。

梯度下降法求解凸二次规划问题的收敛性

定理:

梯度下降法求解凸二次规划问题的收敛条件是

\[0<\alpha<\frac{2}{\lambda_max} \]

这里 \(\alpha\) 是学习率,\(\lambda_max\) 是矩阵 \(A\) 的最大特征值。

证明:

定义误差 \(r_k=x^k-x^*\)。如果算法收敛则满足

\[x^*=x^*-\alpha(Ax^*+b) \]

有

\[\begin{aligned} r_{k+1} &= x_{k+1} - x^* \\[6pt] &= x_k - \alpha (Ax_k + b) - \bigl( x^* - \alpha (Ax^* + b) \bigr) \\[6pt] &= (I_n - \alpha A)x_k - \alpha b - (I_n - \alpha A)x^* + \alpha b \\[6pt] &= (I_n - \alpha A)(x_k - x^*) \\[6pt] &= (I_n - \alpha A) r_k \end{aligned} \]

用欧式范数度量误差大小,

\[\|r_{k+1}\|_2^2 = \|(I - \alpha A) r_k\|_2^2 \]

展开成二次型

\[\|r_{k+1}\|_2^2 = r_k^T (I - \alpha A)^T (I - \alpha A) r_k \]

这里是因为 \(\|v\|_2^2 = v^T v\)。

因为 \(Q\) 对称,所以 \((I - \alpha A)^T = I - \alpha A\),得到:

\[\|r_{k+1}\|_2^2 = r_k^T (I - \alpha A)^2 r_k \]

令 \(A = Q \Lambda Q^T\),其中 \(Q\) 是正交矩阵,即 \(Q^T Q = I\),令 \(y = Q^T r_k\)。

于是:

\[\|r_{k+1}\|_2^2 = y^T (I - \alpha \Lambda)^2 y = \sum_{i=1}^n (1 - \alpha \lambda_i)^2 y_i^2 \]

因为 \(\|y\|_2 = \|Q^T r_k\|_2 = \|r_k\|_2\)。这个是正交不变性。

\[\|r_{k+1}\|_2^2 \le \max_i (1 - \alpha \lambda_i)^2 \cdot \sum_{i=1}^n y_i^2 = \max_i (1 - \alpha \lambda_i)^2 \cdot \|r_k\|_2^2 \]

因为我们每一步要求 \(\|r_{k+1}\|_2 < \|r_k\|_2\),所以

\[\max_i |1 - \alpha \lambda_i| < 1 \]

对于 \(\forall \lambda_i\) 成立,因为半正定,所以解得

\[0<\alpha<\frac{2}{\lambda_max} \]

这便完成了证明。

寻找最优步长

设梯度下降法的搜索方向为:

\[d^k = -\nabla f(x^k) \]

最优步长 \(\alpha_k\) 是如下线搜索问题的最优解:

\[\min_{\alpha \geq 0} f(x^k + \alpha d^k) \]

将 \(x^k + \alpha d^k\) 代入:

\[\begin{aligned} f(x^k + \alpha d^k) &= \frac{1}{2} (x^k + \alpha d^k)^\top Q (x^k + \alpha d^k) + b^\top (x^k + \alpha d^k) \\[6pt] &= \frac{1}{2} (d^k)^\top Q d^k \cdot \alpha^2 + \bigl( (d^k)^\top Q x^k + b^\top d^k \bigr) \alpha + f(x^k) \end{aligned} \]

这里第二项需和前面方法一样。

由于 \((d^k)^\top Q d^k > 0\)(\(Q\) 正定),该二次函数的开口向上,取最小值当且仅当:

\[\frac{d}{d\alpha} f(x^k + \alpha d^k) = 0 \]

考虑约束 \(\alpha \geq 0\),最优步长为:

\[\alpha_k = \max \left\{ -\frac{(d^k)^\top Q x^k + b^\top d^k}{(d^k)^\top Q d^k}, \; 0 \right\} \]

代入 \(d^k = -\nabla f(x^k) = -(Qx^k + b)\)。

\[\begin{aligned} (d^k)^\top Q x^k + b^\top d^k &= (d^k)^\top (Qx^k + b) \\[4pt] &= (d^k)^\top \bigl( -\nabla f(x^k) \bigr) \\[4pt] &= -\| \nabla f(x^k) \|^2 \end{aligned} \]

所以

\[\alpha_k = \frac{\| \nabla f(x^k) \|^2}{\nabla f(x^k)^\top Q \nabla f(x^k)} \]

这里 \(\alpha_k\ge 0\) 一定满足。

参考资料

  • 数值优化算法——牛一帅

以及感谢 DeepSeek。

posted @ 2026-08-20 20:55  _Iroha  阅读(29)  评论(0)    收藏  举报