摘要:
L-BFGS 双循环递归(Two-Loop Recursion)的核心秘密,是利用矩阵乘法的结合律,将原本“先构造 \(N \times N\) 逆 Hessian 矩阵 \(\mathbf{B}_k\)、再乘以梯度向量 \(\mathbf{g}_k\)”的矩阵运算,彻底改写为一系列“向量点积(标量 阅读全文
posted @ 2026-10-28 23:45
立体风
阅读(18)
评论(0)
推荐(0)
摘要:
在深度学习中,当模型参数量 \(N\) 达到数百万(\(10^6\))甚至百亿(\(10^{10}\))级别时,直接计算、存储或求逆完整的 Hessian 矩阵在物理上是完全不可行的。 然而,二阶导数所包含的曲率信息(哪个方向陡峭需要减速、哪个方向平缓可以大步前进)对于跳出病态峡谷和鞍点至关重要。为 阅读全文
posted @ 2026-10-28 23:36
立体风
阅读(19)
评论(0)
推荐(0)
摘要:
Hessian 矩阵(海森矩阵)本质上就是多元标量函数的“二阶导数”。它把一元函数里用单个数字表示的曲率(凹凸性),推广到了高维空间中用矩阵描述的全方位曲率结构。 理解 Hessian 矩阵最自然的方式,是顺着“导数的阶数”与“自变量的维度”这两条主线,看导数是如何从一个简单的数字一步步膨胀为向量、 阅读全文
posted @ 2026-10-28 23:25
立体风
阅读(34)
评论(0)
推荐(0)

浙公网安备 33010602011771号