最小二乘法（Least Squares Method）

最小二乘法（Least Squares Method）本身不是一种算法，而是一种损失函数（Loss Function）的模型。用最小二乘法表示损失函数后，再通过其他优化算法求解最优值。

 

1. 特征： $loss\_function=\sum(\hat{y}_i-y_i)^2 $

 

2. 与最大似然估计（MLE）的关系：形式等同于残差满足正态分布的最大似然估计

 

3. 解法：$\sum(\hat{y}_i-y_i)^2，$求偏导等于0的极值点

 

4. 线性最小二乘问题（Ordinary Least Squares (OLS)）求解过程：

$$\sum(\hat{y}_i-y_i)^2$$

$$S(\beta)=|X\beta-Y|^2$$

$$\beta = arg min(S(\beta))$$

$$S'(\beta) = 2X^T(X\beta-Y)=0$$

$$X^TX\beta=X^TY$$

若$X^TX$非奇异（可逆），则：

$$\hat{\beta}=(X^TX)^{-1}X^TY$$

 

5. 本质：$Y$在$X$向量空间上的投影

 

6. 非线性最小二乘问题解法：梯度下降、高斯-牛顿法、L-M算法等