【线性代数-非线性优化算法】高斯-牛顿法和LM法 - 实践

文章目录

• • 一、常见非线性优化算法概览
  • 二、高斯-牛顿法（Gauss-Newton Method）
  • • 1. 问题形式
    • 2. 核心思想
    • 3. 迭代公式
    • 4. 优缺点
  • 三、列文伯格-马夸尔特法（Levenberg-Marquardt, LM）
  • • 1. 动机：融合梯度下降与高斯-牛顿
    • 2. 核心公式
    • 3. 阻尼因子$\lambda$的自适应调整
    • • 调整策略：
    • 4. 为什么$|{\mathbf{r}}_k+J_k\Delta \mathbf{x}{|}^2$是预测残差？
    • • 一阶泰勒展开：
      • 几何/物理意义：
    • 5. LM 算法完整流程
    • 6. LM 的优势
    • 7. 典型应用场景
  • 四、总结对比

一、常见非线性优化算法概览

算法	特点	适用场景
梯度下降法（Gradient Descent）	仅用一阶导数（梯度），方向为负梯度；便捷但收敛慢	大规模障碍、对精度要求不高
牛顿法（Newton’s Method）	使用二阶导数（Hessian 矩阵），二阶收敛；计算与存储 Hessian 开销大	小规模、光滑函数
高斯-牛顿法（Gauss-Newton）	专为最小二乘设计，用$J^{\top }J$近似 Hessian，避免二阶导数	数据拟合、重投影误差最小化
列文伯格-马夸尔特法（Levenberg-Marquardt, LM）	高斯-牛顿的改进版，引入阻尼因子$\lambda$，兼具稳健性与快速性	实际中最常用，如相机标定、Bundle Adjustment
拟牛顿法（BFGS / L-BFGS）	迭代近似 Hessian，L-BFGS 节省内存	通用非线性优化，尤其适合大规模问题

---

二、高斯-牛顿法（Gauss-Newton Method）

1. 问题形式

求解 非线性最小二乘障碍：

$$\underset{\mathbf{x}}{\min }\frac{1}{2}|\mathbf{r}(\mathbf{x}){|}^2=\frac{1}{2}\sum _{i=1}^m{r}_i(\mathbf{x}{)}^2$$

• $\mathbf{x}\in {\mathbb{R}}^n$：待优化参数
• $\mathbf{r}(\mathbf{x})\in {\mathbb{R}}^m$：残差向量（模型预测与观测的差异）

---

2. 核心思想

牛顿法需计算 Hessian 矩阵$H$，但对最小二乘障碍：

$$H=J^{\top }J+\sum _{i=1}^m{r}_i{\nabla }^2{r}_i$$

高斯-牛顿法忽略二阶项（即 ∇ 2 r i \nabla^2 r_i</