线性代数学习笔记（一）——矩阵的四个字空间、秩

刚刚看完MIT的Linear Algebra课程，应该总结一下。

1.矩阵的秩

rank(A)就是A进行高斯消元法后的非零pivot数，也就是矩阵中不相关的行向量数和列向量数，因此不可能超过m和n，当等于m或n时，分别称为行满秩和列满秩。矩阵的秩体现了矩阵的相关性，决定了矩阵四个基本空间的维度，是矩阵的维度信息。

2.空间

空间就是向量集合，并且满足空间中的向量的线性组合（数乘，相加）还在空间中。因此空间一定要包含原点origin。空间可以是origin alone，可以是穿过原点的一条直线、一个平面、一个超平面等等，或者也可以是整个n维空间。

对于一个矩阵A来说，它有四个基本空间。ColumnSpace C(A)，RowSpace R(A)=C(A’)，NullSpace N(A)，LeftNullSpace N(A’)。

C(A)是Rm中的子空间，即每个点都是m维的，是A的列向量的所有线性组合所能达到(scan)的空间范围。Ax=b是否有解取决于b是否在C(A)中，因为x可以看做把A中各列做线性组合的系数，（这是Ax=b的Column Picture），若能找到一种方式使得A各列的线性组合得到b，则b在C(A)中，也就有解。C(A)的维度取决于A中各列向量的相关性，等于不相关列向量的个数，即rank(A)。

R(A)与C(A)类似，只不过是行向量的线性组合，即R(A)=C(A’)。它是Rn中的子空间，每个店都是n维的。dim R(A)=rank(A)。

N(A)就是Ax=0的解空间。是使得A的各列向量可以得到0的那些线性组合方式。因此N(A)的维度决定于A的列向量的相关性，若所有列向量彼此之间均不相关（列满秩），任一列向量都不能用其它列向量的线性组合表示，则没有办法将它们线性组合成0，则N(A)=null；反之，相关程度越高，线性组合的系数自由度越高（组合为0的方式越多）。dim N(A)=n-rank(A)。

Ax=b的解空间则不是空间（既然如此，也许根本就不能称之为解空间吧），实际上它的解空间是N(A)做一个平移（Ax=b的任一特定解都可以承担这个平移的角色）。因为任何Ax=b的解与任何Ax=0的解的差都也是Ax=b的解。因此两者的维度是相同的，都为n-rank(A)（once more，既然后者不是空间，应该也没有维度一说，anyway, just INTUITION XD）。

N(A’)与N(A)类似，只不过在Rn中，dim N(A’)=m-rank(A)。

3.如何理解线性方程组Ax=b

Row picture，把每一行Ai1x1+…+Ainxn=bi看作一个线性方程，这样Ax=b就相当于m个线性方程组成的线性方程组，未知数个数为n，即解在n维空间里。解的结构具体如何要看这m个线性方程的具体情况。当一个方程都不考虑的时候，没有任何限制，整个n维空间都是满足条件的，换句话说即解空间是整个n维空间；当考虑第一个方程时，n个维度之间有了一个限制，即把解空间压缩了一个维度，变成了n-1维空间，注意解空间中的点（即解）仍然是n维空间中的点，只不过解空间的维度是n-1，可以认为现在解空间是n维空间中的一个n-1维的子空间。继续考虑其它方程，每一个和前面方程既不相关又不矛盾的方程都会将解空间压缩一个维度。相关指的是可以用其它方程的线性组合来表示，这个单独靠A就可以判断，即考察A是否行满秩；矛盾指的是可以用其它方程的线性组合来表示，同时对应的bi又与对应b中其它项的相同线性组合不符，此时的b不能用A中各列的线性组合得到，即b不在A的Column Space中，故不可解。

Column picture，将A的每一列看作m维空间中的一个向量，共n个，x看做将这n个向量线性组合起来的系数，即组合方式，b为组合结果。