GeoFXR

摘要： 函数f(X)在局部极小值点应满足什么条件？反之，满足什么条件的是局部极小点?这就是凸优化的基本问题。下面针对多元函数的情形给出各类极小值点的定义。 阅读全文

摘要： 上一节说过，梯度 $\nabla f(\mathbf{X})$ 是$f(\mathbf{X})$ 关于$\mathbf{X}$ 的一阶导数，现在一个问题$f(\mathbf{X})$ 关于 $\mathbf{X}$ 的二阶导数是什么？Hessian 矩阵（海森矩阵）是一个多变量实值函数$f(\mathbf{X})$的二阶导数构成得方阵，其几何意义是描述了一个多元函数或场函数的局部曲率。在机器学习、优化问题和物理反演问题中，Hessian矩阵扮演着重要的角色，尤其是在寻找函数的极值点（如损失函数或目标函数的最小值）和分析系统的稳定性。 阅读全文