子空间投影

任何一个向量 $b$， 都有

$$b = P b +(I-P)b$$

其中， $P$ 是投影向某一个空间的投影矩阵，而 $(I-P)$ 是投影向垂直于该空间的投影矩阵。

---

 

如何解一个无解的方程 $Ax=b$ 的解

基础的的解决方案是：

$A^TA \hat{x} = A^T b$

rank ($A^TA$) = rank($A$)， Null($A^TA$)= Null($A$)

换句话说，如果A是列满秩的，即零空间里只有0向量，那么$A^TA$可逆的。

---

此时，子空间投影可以被运用求解近似解。

在一维情况下，投影变量 $p$, 投影矩阵 $P$，被投影变量 $b$， 投影方向 $a$， 那么有：

$p=Pb=\frac{aa^T}{a^Ta}b$

在多维情况下，投影变量用 $A$ 替代， 那么投影变换则为：

$p=Pb=A(A^TA)^{-1}A^Tb$

注意的是，这里中间的括号是不能拆开的，因为 $A$ 不一定是可逆方阵，如果 $A$ 为可逆方阵，那么投影矩阵为单位矩阵 $I$，即方程组本身有解，无需投影 $b$ 也在 $A$ 的列空间里。

---

e.a.  求经过几个点的直线拟合。根据点的个数可以列出许多的方程，但是这些点不一定在拟合的直线上，所以根据最小二乘法，通过投影矩阵可以求的最优解。