线性最小二乘法

①前置知识：

曲线拟合问题：
已知一组二维数据，寻求一个函数（曲线）\(y=f(x)\)使\(f(x)\)在某种准则下与所有数据点最为接近，即曲线拟合得最好。

②线性最小二乘法：

\(1.1\) 定义
线性最小二乘法是解决曲线拟合最常用的方法，基本思路是，令：

\[f(x)=a_1r_1(x)+a_2r_2(x)+...+a_mr_m(x), \]

式中：\(r_k(x)\)为事先选定的一组线性无关的函数;\(a_k\)为待定系数。

\(1.2\) 拟合准则
使\(y_i\)与\(f(x_i)\)的距离\(\delta_i\)的平方和最小

\(1.3\) 系数确认
记

\[J(a_1,...,a_m)=\sum_{i=1}^n \delta_i^2=\sum_{i=1}^n [f(x_i)-y_i]^2, \]

要使J最小，即令\(\frac{\partial J}{\partial a_j}=0(j=1,...,m)\),
即：

\[\sum_{i=1}^nr_j(x_i)[\sum_{k=1}^ma_kr_k(x_i)-y_i]=0,j=1,...,m, \]

即：

\[\sum_{k=1}^ma_k[\sum_{i=1}^n r_j(x_i)r_k(x_i)]=\sum_{i=1}^nr_j(x_i)y_i,j=1,...,m, \]

记：

\[R=\begin{bmatrix} r_1(x_1)& \cdots & r_m(x_1) \\ \vdots &\vdots& \vdots \\ r_1(x_n)& \cdots & r_m(x_n) \end{bmatrix} ,\]

\[A=[a_1,\cdots,a_m]^T,Y=[y_1,\cdots,y_n]^T, \]

则方程式可表示为：

\[R^TRA=R^TY。 \]

当\({r_1(x),\cdots,r_m(x)}\)线性无关时，R满秩，\(R^TR\)可逆，此时有唯一解：

\[A=(R^TR)^{-1}R^TY \]

1.4 实际意义

在空间内，任意两个向量都可以组合成新的向量，我们不妨如下表示：

\[a_1 x_1+a_2 x_2=b \Leftrightarrow A X=B \]

对于拟合的向量\(y_i\)，要使其与目标向量\(f(x_i)\)距离最小，即满足：

\[\exists k\in N,\forall i \in N,|\vec {f(x_i)}-\vec y_i|\geq |\vec {f(x_k)}-\vec y_k| \]

在此处，\(y_i=b\),\(f(x_i)\)对应的矩阵为\(AX\)，

故要满足距离最小，即使得\(\vec{b-AX}\)与\(\vec b\)所在平面正交，也就是使\(\vec{b-AX}\)与\(\vec b\)和\(\vec a\)都正交。

即：

\[A^T (b-A\bar x)=0 \]

以下推导与代数推导一致，不作阐述。