深度学习中如何近似二阶导信息
在深度学习中,当模型参数量 \(N\) 达到数百万(\(10^6\))甚至百亿(\(10^{10}\))级别时,直接计算、存储或求逆完整的 Hessian 矩阵在物理上是完全不可行的。
然而,二阶导数所包含的曲率信息(哪个方向陡峭需要减速、哪个方向平缓可以大步前进)对于跳出病态峡谷和鞍点至关重要。为了在不引爆显存的前提下“白嫖”二阶曲率信息,现代优化算法发展出了拟牛顿法(L-BFGS)、无海森矩阵法(Hessian-Free)以及现代大模型中的结构化近似(如 Sophia、K-FAC、Shampoo)三条核心路径。
一、 为什么标准牛顿法在深度学习中会遭遇“维度灾难”?
假设神经网络有 \(N\) 个参数(例如一个 \(7\text{B}\) 规模的大语言模型,\(N = 7 \times 10^9\)),标准牛顿法的更新公式为:
直接套用该公式会撞上三堵高墙:
- 存储墙(\(O(N^2)\) 空间复杂度):
Hessian 矩阵包含 \(N \times N\) 个元素。当 \(N = 7 \times 10^9\) 时,\(\mathbf{H}\) 拥有 \(4.9 \times 10^{19}\) 个浮点数,即使以 FP16(2 字节)存储,也需要约 \(9.8 \times 10^{10} \text{ GB}\)(近 100 艾字节 Exabytes) 的显存。 - 算力墙(\(O(N^3)\) 时间复杂度):
对 \(N \times N\) 矩阵求逆(或做 Cholesky 分解)的计算复杂度高达 \(O(N^3)\),单步迭代就需要天文数字般的浮点运算。 - 非凸鞍点陷阱(负特征值问题):
高维神经网络损失曲面是高度非凸的,驻点绝大多数是鞍点(\(\mathbf{H}\) 存在负特征值)。在负特征值对应的方向上,牛顿步 \(-\mathbf{H}^{-1}\nabla f\) 不仅不会让损失下降,反而会逆着梯度下降方向把参数直接推向鞍点或局部极大值。
破局的核心洞察:仔细观察牛顿更新公式 \(\mathbf{d}_k = -\mathbf{H}_k^{-1} \mathbf{g}_k\)(其中 \(\mathbf{g}_k = \nabla f(\mathbf{x}_k)\) 是梯度向量)。我们从头到尾需要的都只是一个 \(N\) 维的方向向量 \(\mathbf{d}_k\),而不是 \(N \times N\) 的矩阵 \(\mathbf{H}_k\) 或 \(\mathbf{H}_k^{-1}\) 本身! 所有的近似算法,本质上都在想办法跳过显式构造矩阵,直接算出这个 \(N\) 维结果向量。
二、 路径一:拟牛顿法与 L-BFGS(用一阶梯度的历史差分“拼凑”逆曲率)
既然求二阶导太贵,能不能只用相邻两步的一阶梯度之差,来反推曲率?这就是拟牛顿法(Quasi-Newton Methods)的核心思想。
1. 从一维割线法到高维割线方程(Secant Equation)
在一元函数中,二阶导数可以用一阶导数的差分来近似:
推广到 \(N\) 维空间,记第 \(k\) 步的参数位移向量为 \(\mathbf{s}_k = \mathbf{x}_{k+1} - \mathbf{x}_k\),梯度变化向量为 \(\mathbf{y}_k = \mathbf{g}_{k+1} - \mathbf{g}_k\)。那么近似的 Hessian 矩阵 \(\mathbf{H}_{k+1}\) 必须满足割线方程:
为了连矩阵求逆也省掉,BFGS 算法直接维护 Hessian 逆矩阵的近似 \(\mathbf{B}_{k+1} \approx \mathbf{H}_{k+1}^{-1}\),使其满足逆割线方程:
每走一步,BFGS 利用刚采集到的两个向量 \((\mathbf{s}_k, \mathbf{y}_k)\),对上一时刻的逆矩阵 \(\mathbf{B}_k\) 做一个对称的秩-2(Rank-2)更新:
2. L-BFGS 的神来之笔:不存矩阵,只存最近 \(m\) 步的向量对
标准 BFGS 虽然免去了求二阶导和矩阵求逆,但依然要在内存里存一个 \(N \times N\) 的稠密矩阵 \(\mathbf{B}_k\)(依然是 \(O(N^2)\))。
L-BFGS(Limited-memory BFGS,有限内存 BFGS)彻底扔掉了 \(N \times N\) 矩阵:
- 滑动窗口存储:它不把上述秩-2 更新公式展开成矩阵,而是只保留最近 \(m\) 步(通常取 \(m = 5 \sim 20\))的历史向量对 \(\{(\mathbf{s}_i, \mathbf{y}_i)\}_{i=k-m}^{k-1}\)。显存开销瞬间从 \(O(N^2)\) 暴降至 \(O(mN)\)!
- 双循环递归(Two-Loop Recursion):当需要计算搜索方向 \(\mathbf{d}_k = -\mathbf{B}_k \mathbf{g}_k\) 时,注意上式中 \(\mathbf{B}_k\) 右乘一个向量 \(\mathbf{g}_k\) 时,所有的外积项 \(\mathbf{s}_i \mathbf{y}_i^T \mathbf{g}_k\) 都会先变成向量内积(标量) \((\mathbf{y}_i^T \mathbf{g}_k)\) 再乘以向量 \(\mathbf{s}_i\)!
- 通过两个长度为 \(m\) 的
for循环(只涉及向量点积和向量加减),L-BFGS 可以在 \(O(mN)\) 的时间复杂度内,直接算出 \(\mathbf{B}_k \mathbf{g}_k\) 的精确结果,全程不出现任何 \(N \times N\) 矩阵。
三、 路径二:Hessian-Free(无海森矩阵法 / 截断牛顿法)
L-BFGS 毕竟只是用过去 \(m\) 个方向的梯度差分做的低秩近似。如果我们需要当前点 \(\mathbf{x}_k\) 处精确的二阶曲率信息,又不想构造 \(N \times N\) 的 Hessian 矩阵,该怎么办?
Hessian-Free(HF,又称截断牛顿法 Truncated Newton)给出了极为优雅的解答:将“矩阵求逆 \(\mathbf{d} = -\mathbf{H}^{-1}\mathbf{g}\)”转化为“用共轭梯度法迭代求解线性方程组 \(\mathbf{H}\mathbf{d} = -\mathbf{g}\)”。
1. 支柱一:Pearlmutter 技巧——以 \(O(N)\) 代价精确计算 \(\mathbf{H}\mathbf{v}\)
在数值代数中,很多迭代求解器并不需要知道矩阵 \(\mathbf{H}\) 的每个元素,只需要一个能计算海森矩阵与任意向量 \(\mathbf{v}\) 的乘积(Hessian-Vector Product, HVP) \(\mathbf{H}\mathbf{v}\) 的黑盒函数。
如何在完全不构造 \(\mathbf{H}\) 的前提下算出 \(\mathbf{H}\mathbf{v}\)?
- 方法 A(有限差分近似):根据方向导数的定义,用两次相距极近的一阶梯度做差分:
这种方法只需两次反向传播,但容易受浮点数精度截断误差影响。
- 方法 B(自动微分精确计算 —— Pearlmutter's Trick):
利用微积分恒等式(将常向量 \(\mathbf{v}\) 塞进梯度算子内部):
在 PyTorch 或 JAX 等现代自动微分框架中,只需三步即可零误差算出 \(\mathbf{H}\mathbf{v}\):
- 正常前向+反向传播,算出梯度向量 \(\mathbf{g} = \nabla_{\mathbf{x}} f(\mathbf{x})\)(保留计算图);
- 将梯度 \(\mathbf{g}\) 与给定向量 \(\mathbf{v}\) 做内积,得到一个标量 \(u = \mathbf{g}^T \mathbf{v}\);
- 对标量 \(u\) 关于参数 \(\mathbf{x}\) 再调用一次
.backward()反向传播,得到的梯度正是 \(\nabla_{\mathbf{x}}(\mathbf{g}^T \mathbf{v}) = \mathbf{H}\mathbf{v}\)!
- 计算代价:时间和显存开销仅仅相当于约 2 次普通的梯度反向传播(\(O(N)\) 级别),与 \(O(N^2)\) 完全脱钩!
2. 支柱二:共轭梯度法(Conjugate Gradient, CG)截断求解
有了能在 \(O(N)\) 时间内算出 \(\mathbf{H}\mathbf{v}\) 的武器后,Hessian-Free 算法使用线性共轭梯度法(CG)来求解二次逼近子问题:
- CG 算法在每一步内循环中,只需要调用一次 \(\mathbf{H}\mathbf{v}\) 算子,就能生成一组关于 \(\mathbf{H}\) 正交(共轭)的搜索方向。
- 为什么叫“截断(Truncated)”:精确解出 \(N\) 维方程组需要 \(N\) 步 CG 迭代,但这既不现实也没必要。在深度学习中,通常只运行 \(k = 10 \sim 50\) 步 CG 迭代就提前终止(截断),拿到一个足够好的近似牛顿方向 \(\mathbf{d}_k\) 就更新参数。
- 克服鞍点(GGN 替代与阻尼项):为防止 \(\mathbf{H}\) 的负特征值导致 CG 发散,深度学习中的 Hessian-Free 算法通常会用半正定的广义高斯-牛顿矩阵(Generalized Gauss-Newton, \(\mathbf{G}\))代替原始 \(\mathbf{H}\),并加上 Levenberg-Marquardt 阻尼项 \(\lambda \mathbf{I}\),实际求解 \((\mathbf{G} + \lambda \mathbf{I})\mathbf{d} = -\mathbf{g}\)。
四、 路径三:百亿参数大模型时代的二阶近似(对角化与块分解)
既然 L-BFGS 和 Hessian-Free 这么巧妙,为什么如今训练 GPT、Llama 等百亿参数大模型时,主流优化器依然是 AdamW、Muon、Sophia 或 Shampoo,而不是纯 L-BFGS 或 Hessian-Free?
原因在于小批量随机梯度(Mini-batch SGD)的噪声:
- L-BFGS 依赖相邻两步的梯度差 \(\mathbf{y}_k = \mathbf{g}_{k+1} - \mathbf{g}_k\)。在 Mini-batch 训练中,两次迭代抽到的数据批次不同,梯度噪声往往比真实的曲率变化还要大,导致割线方程严重失真。
- Hessian-Free 每更新一次参数,内部要跑几十次 CG 迭代(每次都要做前向+反向传播算 \(\mathbf{H}\mathbf{v}\)),单步耗时是普通 SGD/Adam 的几十倍。
因此,现代超大规模深度学习将二阶思想进一步提炼为单步开销接近 \(O(N)\)、且抗随机噪声的结构化二阶预条件器(Preconditioners):
| 二阶近似流派 | 代表优化器 | 如何近似 Hessian 矩阵 \(\mathbf{H}\) | 内存复杂度 | 计算复杂度 / 特点 |
|---|---|---|---|---|
| 精确牛顿法 | Newton's Method | 完整 \(N \times N\) 矩阵 \(\mathbf{H}\) | \(O(N^2)\) | \(O(N^3)\) 求逆,大模型完全不可用 |
| 低秩历史拟牛顿 | L-BFGS | 存最近 \(m\) 个 \((\mathbf{s}_k, \mathbf{y}_k)\) 构造秩-\(2m\) 近似 | \(O(mN)\) | \(O(mN)\) 双循环递归;适合全量/大 Batch 或科学计算(PINNs) |
| 无矩阵迭代法 | Hessian-Free (HF) | 不存矩阵,用自动微分算 \(\mathbf{H}\mathbf{v}\) + CG 迭代 | \(O(N)\) | 每步需 \(K\) 次反向传播(\(O(KN)\));精度高但单步慢 |
| 对角线二阶近似 | Adam / Sophia | 只保留主对角线 \(\text{diag}(\mathbf{H})\),忽略参数间耦合 | \(O(N)\) | Sophia 用 Hutchinson 随机迹估计器 \(\mathbf{v} \odot (\mathbf{H}\mathbf{v})\) 实时估计对角 Hessian |
| Kronecker 块对角分解 | K-FAC / Shampoo / Muon | 按神经网络层分块,将每层 \(\mathbf{H}_l\) 分解为输入协方差与梯度协方差的直积 \(\mathbf{A} \otimes \mathbf{G}\) | \(O(\sum (d_{\text{in}}^2 + d_{\text{out}}^2))\) | 利用 \((\mathbf{A} \otimes \mathbf{G})^{-1} = \mathbf{A}^{-1} \otimes \mathbf{G}^{-1}\),把大矩阵求逆拆成两个小矩阵运算 |
现代大模型的两个关键技巧:
- Sophia 的 Hutchinson 对角估计:
如何只花 \(O(N)\) 代价抽出 \(\mathbf{H}\) 的主对角线元素 \(\text{diag}(\mathbf{H})\)?随机采样一个元素为 \(\pm 1\) 的 Rademacher 向量 \(\mathbf{z}\),利用自动微分算出 \(\mathbf{H}\mathbf{z}\)。可以证明,逐元素乘积 \(\mathbf{z} \odot (\mathbf{H}\mathbf{z})\) 的数学期望恰好等于对角线 \(\text{diag}(\mathbf{H})\)!Sophia 每隔几十步用这个方法更新一次对角曲率,从而在大模型预训练中实现了比 AdamW 快近 2 倍的收敛速度。 - K-FAC 与 Shampoo 的 Kronecker 直积分解:
神经网络的一层线性变换 \(\mathbf{y} = \mathbf{W}\mathbf{a}\)(其中权重 \(\mathbf{W} \in \mathbb{R}^{d_{\text{out}} \times d_{\text{in}}}\) 共有 \(d_{\text{in}} d_{\text{out}}\) 个参数),其对应的 Hessian 分块矩阵大小原本是 \((d_{\text{in}} d_{\text{out}}) \times (d_{\text{in}} d_{\text{out}})\)。K-FAC 发现该块可以近似分解为输入激活值协方差矩阵 \(\mathbf{A} \in \mathbb{R}^{d_{\text{in}} \times d_{\text{in}}}\) 与输出梯度协方差矩阵 \(\mathbf{G} \in \mathbb{R}^{d_{\text{out}} \times d_{\text{out}}}\) 的 Kronecker 积(\(\mathbf{H}_l \approx \mathbf{A} \otimes \mathbf{G}\))。根据矩阵代数性质,\((\mathbf{A} \otimes \mathbf{G})^{-1} = \mathbf{A}^{-1} \otimes \mathbf{G}^{-1}\)——原本需要对维度为 \(10^8\) 的矩阵求逆,现在只需要分别对两个维度为 \(10^4\) 的小矩阵求逆!
五、 交互式实验:病态峡谷中的一阶与近似二阶优化轨迹对比
为什么二阶信息如此重要?当损失曲面在不同方向上的曲率差异极大(即 Hessian 的最大与最小特征值之比——条件数 \(\kappa = \lambda_{\max} / \lambda_{\min} \gg 1\),且存在非对角交叉项导致峡谷旋转)时:
- 一阶梯度下降(GD) 会因为陡峭方向梯度过大而在峡谷两侧剧烈震荡(Zig-zag),向谷底推进极慢;
- 对角近似(如 Adam/RMSProp) 只能缩放坐标轴方向,当峡谷发生旋转(混合偏导 \(f_{xy} \neq 0\))时依然受困;
- L-BFGS 与 Hessian-Free 能够捕捉非对角线的交叉曲率,自动将搜索方向对准峡谷轴线直奔极小值点。
你可以通过下方的交互式模拟器,调节峡谷的条件数 \(\kappa\)(曲率病态程度)、旋转角度 \(\theta\)(交叉耦合强度)以及 L-BFGS 历史窗口 \(m\) / CG 迭代步数,直观对比四类算法的收敛轨迹:
核心实验观察:在上方可视化中,试着把峡谷旋转角 \(\theta\) 调为 \(0^\circ\),你会发现对角近似(Diagonal,仅提取 Hessian 主对角线)表现得和精确二阶方法一样完美;但一旦把 \(\theta\) 调到 \(35^\circ \sim 45^\circ\)(引入强交叉偏导 \(H_{12}\)),对角近似就会立刻退化,而 L-BFGS 只需积累 \(1 \sim 2\) 步历史梯度差,就能探明峡谷的旋转方向并直插谷底。

浙公网安备 33010602011771号