最小二乘法

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

 

考虑超定方程组（超定指未知数小于方程个数）：

其中m代表有m个等式，n代表有 n 个未知数

，m>n ；将其进行向量化后为：

　　

，

，

显然该方程组一般而言没有解，所以为了选取最合适的

让该等式"尽量成立"，引入残差平方和函数S

（在统计学中，残差平方和函数可以看成n倍的均方误差MSE）

当

时，

取最小值，记作：

通过对

进行微分求最值，可以得到：

如果矩阵

非奇异则

有唯一解：