从函数多阶导理解 Hessian 矩阵
Hessian 矩阵(海森矩阵)本质上就是多元标量函数的“二阶导数”。它把一元函数里用单个数字表示的曲率(凹凸性),推广到了高维空间中用矩阵描述的全方位曲率结构。
理解 Hessian 矩阵最自然的方式,是顺着“导数的阶数”与“自变量的维度”这两条主线,看导数是如何从一个简单的数字一步步膨胀为向量、矩阵乃至高阶张量的。
一、 起点:一元函数的多阶导数(标量的世界)
在一元函数 \(f(x)\)(其中 \(x \in \mathbb{R}\))中,自变量只有一个移动维度(数轴上的左右方向),因此它的各阶导数全都是标量(单个实数):
- 一阶导数 \(f'(x)\)(斜率 / 变化率)
描述函数值随 \(x\) 变化的快慢。当 \(f'(x_0) = 0\) 时,切线水平,该点称为驻点(Critical Point)。 - 二阶导数 \(f''(x)\)(曲率 / 凹凸性)
即“一阶导数的导数”,描述斜率本身是如何变化的,在几何上对应曲线的弯曲方向与弯曲剧烈程度:
- \(f''(x_0) \gt 0\):斜率递增,曲线开口向上(凸),驻点 \(x_0\) 是局部极小值点。
- \(f''(x_0) \lt 0\):斜率递减,曲线开口向下(凹),驻点 \(x_0\) 是局部极大值点。
- \(f''(x_0) = 0\):二阶导数无法提供弯曲信息(可能是拐点,如 \(f(x)=x^3\) 在 \(x=0\) 处),必须继续看三阶导 \(f'''(x)\)、四阶导 \(f^{(4)}(x)\) 等更高阶导数。
- 一元二阶泰勒展开(连接高维的核心桥梁)
在点 \(x_0\) 附近发生微小位移 \(\Delta x\) 时,函数可以用一条抛物线(二次函数)来局部逼近:
二、 维度跃迁:从一元多阶导到多元多阶导
当我们把自变量从标量 \(x\) 升级为 \(n\) 维列向量 \(\mathbf{x} = [x_1, x_2, \dots, x_n]^T \in \mathbb{R}^n\) 时,多元标量函数 \(f(\mathbf{x})\) 的图像不再是一条曲线,而是一张高维超曲面。
在曲面上某一点,你可以沿着 \(n\) 个坐标轴方向分别求偏导数。这意味着每多求一阶导数,每一个已有分量都会分裂出 \(n\) 个新的偏导分量,导数对象的维度(张量阶数)就会上升一级:
| 导数阶数 | 一元函数 \(f(x)\) | 多元函数 \(f(\mathbf{x})\)(\(n\) 个自变量) | 数学对象类型 | 包含元素个数 | 几何与物理意义 |
|---|---|---|---|---|---|
| 0 阶导 | \(f(x)\) | \(f(\mathbf{x})\) | 标量(0 阶张量) | \(n^0 = 1\) | 当前位置的高度 / 函数值 |
| 1 阶导 | \(f'(x)\) | \(\nabla f(\mathbf{x})\)(梯度) | 向量(1 阶张量) | \(n^1 = n\) | 最陡上升方向与坡度 |
| 2 阶导 | \(f''(x)\) | \(\mathbf{H}(\mathbf{x}) = \nabla^2 f(\mathbf{x})\)(Hessian) | 矩阵(2 阶张量) | \(n^2\) | 曲面在所有方向上的曲率与扭曲 |
| 3 阶导 | \(f'''(x)\) | \(\nabla^3 f(\mathbf{x})\) | 三维数组(3 阶张量) | \(n^3\) | 曲率本身随位置的变化率 |
| \(k\) 阶导 | \(f^{(k)}(x)\) | \(\nabla^k f(\mathbf{x})\) | \(k\) 阶张量 | \(n^k\) | 高阶局部非线性特征 |
为什么二阶导数一定是个矩阵?
让我们慢放从 1 阶导到 2 阶导的过程:
- 第一步(求 1 阶导):对 \(f(x_1, x_2, \dots, x_n)\) 的每个变量分别求偏导,排成一列,得到梯度向量(Gradient):
- 第二步(对梯度的每个分量再求偏导):梯度里的每一个偏导数 \(\frac{\partial f}{\partial x_i}\) 本身依然是关于 \(x_1, x_2, \dots, x_n\) 的多元函数。要想知道斜率是怎么变化的,必须把梯度里的每一个分量,都对所有 \(n\) 个自变量再求一次偏导:
- 对第 1 个分量 \(\frac{\partial f}{\partial x_1}\) 求 \(n\) 个偏导 \(\rightarrow\) 展开成矩阵的第 1 行;
- 对第 2 个分量 \(\frac{\partial f}{\partial x_2}\) 求 \(n\) 个偏导 \(\rightarrow\) 展开成矩阵的第 2 行;
- ……以此类推,\(n\) 个分量各展开成 \(n\) 列,自然就构成了一个 \(n \times n\) 的方阵——这就是 Hessian 矩阵。
三、 拆解 Hessian 矩阵的内部结构
对于 \(n\) 元函数 \(f(x_1, x_2, \dots, x_n)\),其 Hessian 矩阵定义为:
矩阵中的两类元素各司其职:
- 主对角线元素 \(\frac{\partial^2 f}{\partial x_i^2}\)(纯二阶偏导)
固定其他所有变量不变,只沿着第 \(i\) 个坐标轴方向移动时截出的一维曲线的二阶导数。它直接刻画了曲面沿坐标轴方向的凹凸性。 - 非对角线元素 \(\frac{\partial^2 f}{\partial x_i \partial x_j}\)(混合二阶偏导)
刻画不同变量之间的交叉耦合(折扭程度)。即:当你沿着 \(x_j\) 方向迈出一步时,原本在 \(x_i\) 方向上的坡度 \(\frac{\partial f}{\partial x_i}\) 会发生多大变化。如果非对角线元素全为 \(0\),说明各个坐标轴方向完全独立;如果不为 \(0\),说明曲面的主弯曲方向相对于坐标轴发生了旋转或扭曲。
核心性质(对称性):根据微积分中的 Clairaut 定理(或 Schwarz 定理),只要函数的二阶偏导数连续,求导的先后顺序不影响结果,即 \(\frac{\partial^2 f}{\partial x_i \partial x_j} = \frac{\partial^2 f}{\partial x_j \partial x_i}\)。因此,平滑函数的 Hessian 矩阵必然是一个实对称矩阵(\(\mathbf{H} = \mathbf{H}^T\))。
四、 几何直觉:多元泰勒展开与方向曲率
将一元函数与多元函数的二阶泰勒展开放在一起对比,就能瞬间看清 Hessian 矩阵扮演的角色:
- 一元二阶展开:
- 多元二阶展开:
在一元函数中,二次项是 \(\frac{1}{2} f''(x_0)(\Delta x)^2\);而在多元函数中,二次项变成了二次型(Quadratic Form) \(\frac{1}{2} \Delta \mathbf{x}^T \mathbf{H}(\mathbf{x}_0) \Delta \mathbf{x}\)。
为什么要写成 \(\Delta \mathbf{x}^T \mathbf{H} \Delta \mathbf{x}\)?
在一维空间里,你只能往左或往右走,曲率是唯一的标量 \(f''(x_0)\)。但在高维曲面上的一点 \(\mathbf{x}_0\) 处,你可以朝 \(360^\circ\) 任意方向迈出一步。
假设你选择一个单位方向向量 \(\mathbf{d}\)(满足 \(\Vert{}\mathbf{d}\Vert{}=1\)),沿该方向截取曲面得到一条一维曲线。这条曲线在 \(\mathbf{x}_0\) 处的二阶方向导数(即沿 \(\mathbf{d}\) 方向的曲率)恰好就是:
由于 \(\mathbf{H}\) 是实对称矩阵,线性代数告诉我们它一定可以被正交对角化(\(\mathbf{H} = \mathbf{Q} \mathbf{\Lambda} \mathbf{Q}^T\))。这赋予了 Hessian 矩阵极其直观的几何图景:
- 特征向量(Eigenvectors \(\mathbf{q}_i\)):代表曲面在该点处弯曲最纯粹、没有交叉扭曲的正交主轴方向(主曲率方向)。
- 特征值(Eigenvalues \(\lambda_i\)):代表沿着对应特征向量方向的一维二阶导数(主曲率大小)。任意方向的曲率 \(\mathbf{d}^T \mathbf{H} \mathbf{d}\),本质上就是这几个主曲率 \(\lambda_i\) 的加权平均。
五、 极值判定:从“正负号”到“矩阵正定性”
在驻点(满足一阶导 \(\nabla f(\mathbf{x}_0) = \mathbf{0}\))处,一次项消失,函数的局部形状完全由二次型 \(\frac{1}{2} \Delta \mathbf{x}^T \mathbf{H}(\mathbf{x}_0) \Delta \mathbf{x}\) 决定。
在一元函数中,我们看标量 \(f''(x_0)\) 的正负号;在多元函数中,我们要看所有主方向上的曲率(即 \(\mathbf{H}\) 的所有特征值 \(\lambda_i\))是否同号,这就是矩阵的正定性(Definiteness):
| 一元函数判据 | 多元 Hessian 矩阵判据 | 特征值 \(\lambda_i\) 表现 | 二次型 \(\Delta \mathbf{x}^T \mathbf{H} \Delta \mathbf{x}\) | 几何形态与极值结论 |
|---|---|---|---|---|
| \(f''(x_0) \gt 0\) | 正定(Positive Definite) | 全部 \(\lambda_i \gt 0\) | 对任意非零 \(\Delta \mathbf{x}\) 恒大于 \(0\) | 碗底状:朝任何方向走高度都上升 \(\rightarrow\) 严格局部极小值点 |
| \(f''(x_0) \lt 0\) | 负定(Negative Definite) | 全部 \(\lambda_i \lt 0\) | 对任意非零 \(\Delta \mathbf{x}\) 恒小于 \(0\) | 山峰状:朝任何方向走高度都下降 \(\rightarrow\) 严格局部极大值点 |
| (一维不存在) | 不定(Indefinite) | 有正有负 | 可正可负(取决于方向) | 马鞍状:沿正特征值方向向上弯,沿负特征值方向向下弯 \(\rightarrow\) 鞍点(Saddle Point) |
| \(f''(x_0) = 0\) | 半正定 / 半负定(退化) | 至少有一个 \(\lambda_i = 0\) | 在零特征值方向上等于 \(0\) | 沟槽或平底:在 \(\lambda_i=0\) 的方向上二阶曲率为 \(0\),需借助三阶及以上导数判断 |
实战算例:二元函数的二阶极值判别法
以二元函数 \(f(x, y) = x^3 + y^3 - 3xy\) 为例:
- 求一阶导(梯度)找驻点:
解得两个驻点:\(P_1(0, 0)\) 和 \(P_2(1, 1)\)。
2. 求二阶导构造 Hessian 矩阵:
- 代入驻点分析正定性(对于 \(2 \times 2\) 矩阵,\(\det(\mathbf{H}) = \lambda_1 \lambda_2 = f_{xx}f_{yy} - f_{xy}^2\),迹 \(\text{tr}(\mathbf{H}) = \lambda_1 + \lambda_2 = f_{xx} + f_{yy}\)):
- 在 \(P_1(0, 0)\) 处:\(\mathbf{H}(0, 0) = \begin{bmatrix} 0 & -3 \\ -3 & 0 \end{bmatrix}\)。行列式 \(\det(\mathbf{H}) = 0 - 9 = -9 \lt 0\)(特征值为 \(\lambda_1 = 3, \lambda_2 = -3\),一正一负),矩阵不定,故 \((0, 0)\) 是鞍点。
- 在 \(P_2(1, 1)\) 处:\(\mathbf{H}(1, 1) = \begin{bmatrix} 6 & -3 \\ -3 & 6 \end{bmatrix}\)。左上角一阶主子式 \(f_{xx} = 6 \gt 0\),行列式 \(\det(\mathbf{H}) = 36 - 9 = 27 \gt 0\)(特征值为 \(\lambda_1 = 9, \lambda_2 = 3\),全为正),矩阵正定,故 \((1, 1)\) 是局部极小值点。
六、 在现代优化与机器学习中的意义:为什么需要二阶导?
理解了从标量二阶导到 Hessian 矩阵的推广,就能直接看懂牛顿法(Newton's Method)是如何从一维推广到高维优化的:
- 一维牛顿法求极值:利用切线/抛物线逼近找 \(f'(x) = 0\) 的根,迭代公式为:
- 高维牛顿法求极值:在矩阵不能直接做分母的高维空间里,“除以二阶导 \(f''(x)\)”就变成了“左乘 Hessian 矩阵的逆 \(\mathbf{H}^{-1}\)”:
相比于只看一阶导数的梯度下降法(\(\mathbf{x}_{k+1} = \mathbf{x}_k - \alpha \nabla f(\mathbf{x}_k)\)),引入 \(\mathbf{H}^{-1}\) 相当于给每个主方向定制了专属步长:在曲率很大(陡峭峡谷壁,\(\lambda_i\) 大)的方向自动缩小步长防止震荡;在曲率很小(平缓谷底,\(\lambda_i\) 小)的方向自动放大步长加速前进。
七、 交互式探索:三维曲面曲率与 Hessian 特征值
通过下方的交互式三维可视化,你可以调节二元二次型函数 \(f(x, y) = \frac{1}{2}(a x^2 + 2 c x y + b y^2)\) 的三个二阶偏导数参数(\(a = f_{xx}\),\(b = f_{yy}\),\(c = f_{xy}\)),直观观察 Hessian 矩阵的特征值变化如何将曲面在局部极小值(碗底)、局部极大值(山峰)与鞍点(马鞍)之间转换:
核心洞察:试着在上方工具中将 \(f_{xx}\) 和 \(f_{yy}\) 都设为正数(例如 \(a = 1, b = 1\)),然后把混合偏导 \(f_{xy} (c)\) 调大到 \(2\)。你会发现:即便沿着 \(x\) 轴和 \(y\) 轴截面看过去曲线都是开口向上的(\(f_{xx} \gt 0, f_{yy} \gt 0\)),只要交叉扭曲项 \(f_{xy}\) 足够强,曲面依然会在对角线方向塌陷成一个鞍点! 这正是多元函数必须用整个 Hessian 矩阵(而非仅仅看单个变量的二阶导数)来刻画曲率的根本原因。

浙公网安备 33010602011771号