为什么还在学这个东西

Ⅰ.一些定义，线性方程组与消元，基本子空间

左乘矩阵实际上是对 \(A\) 进行行拆解，然后每次取出一行对右边矩阵的所有行做线性组合填到行上。

右乘矩阵实际上是对 \(B\) 进行列拆解，然后每次取出一列对左边矩阵的所有列做线性组合填到列上。

\(C\) 中的每一行都是 \(B\) 中行向量的线性组合，\(C\) 中的每一列都是 \(A\) 中列向量的线性组合。

\(A\) 的一列乘上 \(B\) 的一行会得到一个 \(m\times p\) 的矩阵，\(C\) 实际上就是 \(columnA_i\) 和 \(rowB_i\) 的乘积之和。

没有逆的矩阵称为奇异矩阵。考察二维奇异矩阵的列向量，它们总是共线。\(A\) 是奇异矩阵等价于可以找到非零向量 \(x\) 使得 \(Ax=0\) ，即 \(A\) 列的非平凡线性组合可以得到 \(0\)。消元告诉我们充分性，必要性可以直接说明。

对 \(A^{-1}\) 进行列拆解会得到 \(n\) 个 \(Ax=B\) 的方程，解出这 \(n\) 个方程就能求出 \(A^{-1}\)。Gauss-Jordan 消元考虑对矩阵 \([A|I]\) 做列拆解证明。

对于非齐次方程 \(Ax=b\)，乘上可逆矩阵 \(E\) 不改变解空间，考虑构造双射即可。

\(AB=B^TA^T\)，证明考虑 \(AB\) 是通过 \(A\) 的列乘上 \(B\) 的对应行得到的。将 \(A\) 分解成上三角（upper）和下三角（lower）的乘积叫做 LU 分解，若高斯消元的时候没有对行进行交换，那么可以直接对初等矩阵的乘积求逆得到下三角，上三角就是高斯消元后的结果。对角线上没有 \(0\) 的三角矩阵都是可逆的，因此对于消元时没有行交换的 \(A\) 能被 LU 分解的充要条件是 \(A\) 可逆。LDU 分解指对 U 进一步分解为对角矩阵和某个对角线全是 \(1\) 的上三角，D 指 diagonal。

如果想将 \(A\) 的行向量按照某个 \(n\) 阶排列进行置换，则置换矩阵满足 \(E_{i,p_i}=1\)。所有 \(n\) 阶的置换矩阵形成了一个群，本质上就是对称群。LU 分解时若存在行交换，自然可以先进行所有行交换的操作，会有形式 PA=LU，其中 \(P\) 是一个置换矩阵，\(A\) 有这种形式的充要条件是 \(A\) 可逆。

\(A\) 是对称矩阵当 \(A^T=A\)。有 \(A^TA\) 是对称矩阵，因为 \((A^TA)^T=A^TA\)。

线性空间是一个对加法和数乘封闭的结构。两个子空间的交仍为子空间。考虑矩阵 \(A\) 的列空间，\(Ax=b\) 有解当且仅当 \(b\) 在 \(A\) 的列空间中。\(Ax=0\) 的所有解称为 \(A\) 的零空间，显然，这是一个线性空间。

\(Ax=0\) 称作齐次方程，\(Ax=b\) 称作非齐次方程。我们已经知道齐次方程的解是一个线性空间。当 \(b\) 落在 \(A\) 的列空间中时，必然有特解 \(x_p\)，将其与齐次方程的所有解 \(x_h\) 相加，\(x_p+x_h\) 必然为非齐次方程的解，同时易见所有解都具有此类形式，因此非齐次方程的解为一个仿射空间，即为零空间沿 \(x_p\) 进行平移得到的结果。

对 \(A\) 做高斯消元后主元的数量称为 \(A\) 的秩。将其它元称为自由元。考虑我们可以通过钦定某个自由元为 \(1\)，其它自由元为 \(0\) 来得到一些特解，这是必然可以得到的。同时这些特解线性无关。对于特解以外的任意一个解，均和这些特解线性相关，首先显然可以通过对特解线性组合得到某个零空间中的向量 \(x\)，将特解以外的某个解 \(x'\) 与其做减法得到 \(x^*=x'-x\)。我们说明 \(x^*\neq0\) 时 \(x'\) 不为线性方程组的解。\(x\) 必然使得 \(x^*\) 的所有自由元取到 \(0\)，设最后一个没取到 \(0\) 的主元取到了 \(a\)，必然有 \(a=0\)，因为其在消元后会有方程只和该主元及其之后的变元有关，而除了该主元外其它都取到 \(0\)。

行变换不会改变行空间，对列空间进行的也仅仅是旋转、拉伸、压缩，不会改变列向量之间的线性关系。

特解的数量为自由元的数量。特解张成的空间即为零空间，零空间的维度即为特解数量，这自然导出秩-零化度定理，\(\rm{rank}+\rm{nullity}=n\)。

进一步做消元变成简化行阶梯型矩阵，同时应用行变换将全零行放到底部，对变元做置换使得矩阵的上半部分为 \([I,F]\)，其中 \(F\) 为自由元。如果一个矩阵的每一列都是一个特解，那么其为零空间矩阵，有了上述消元后可以直接得到零空间矩阵 \([-F,I]^T\)。零空间就是零空间矩阵的列向量空间。

非齐次方程有解的条件上文已经给出——\(b\) 需要落在 \(A\) 的列空间内，另一个完全等价的条件是若 \(A\) 中行的线性组合得到 \(0\)，那么 \(b\) 的相同线性组合也必须得到 \(0\)。这两个条件都为充要条件因此等价。解空间的维数为零空间的维数，即为消元后自由元的数量。通过钦定自由元为 \(0\) 可以得到一个特解，若将零空间沿此特解平移，会得到解空间。注意零空间的基沿特解平移后得到的并非解空间的基。

对于一个秩为 \(r\) 的 \(m\times n\) 矩阵，有 \(r\le\min(m,n)\)。列满秩时齐次方程解唯一（零向量），非齐次方程有 \(0\) 或 \(1\) 个解（列满秩只能说明列向量线性无关，列向量空间为 \(\mathbb{R}^m\) 的 \(n\) 维子空间）。对于方阵来说，列满秩意味着非齐次方程有恰好一个解。综合一开始奇异矩阵的条件，可以发现列满秩等价于矩阵非奇异。

行满秩意味着线性方程组必然有解，解空间的维数是 \(n-m\)。行和列都不满秩的矩阵只能无解或有无穷解。

线性空间的一组基定义为能张成此空间且线性无关的向量组，线性空间中所有基的大小固定，称为该线性空间的基。对于 \(\mathbb{R}^n\) 上的子空间，其维数不超过 \(n\)。考虑任取 \(m>n\) 个子空间内的向量，将其作为矩阵的列向量，则矩阵必定不满秩，这意味着列线性相关。给出 Steinits 替换定理：

设大小为 \(n\) 的向量组 \(T\) 可以生成 \(V\)，则 \(V\) 中的任意线性无关组大小不会超过 \(n\)。同时对于大小为 \(m\) 的线性无关组 \(S\)，存在将 \(T\) 中的 \(m\) 个向量替换成 \(S\) 的方法使得替换后线性无关且仍为生成集。

归纳证明，略去。

直接应用替换定理可以得到线性空间基的大小固定。矩阵的秩等于列空间的维数，\(n-r\) 为零空间的维数。对于四类基本子空间而言：

• 列空间 \(C(A)\) 的维数为 \(r\)，基的构造考虑所有主列（需要考虑回原矩阵，行变换不会改变列向量间的线性关系）。
• 零空间 \(N(A)\) 的维数为 \(n-r\)，基的构造之前已经给出（钦定某个自由元为 \(1\)）。
• 行空间 \(C(A^T)\) 的维数为 \(r\)，基的构造考虑所有主行。
• 左零空间 \(N(A^T)\) 的维数为 \(m-r\)。

考虑左零空间基的构造，通过消元将 \(A\) 变成简化行阶梯型矩阵 \(R\)。\(R\) 中全零行的数量即为左零空间的维数 \(m-r\)。消元过程实际上可以表示为 \(EA=R\)。注意到 \(A^Ty=0\Leftrightarrow y^TA=0\)，找出 \(R\) 中全零行对应在 \(E\) 中的行即为 \(y^T\)。求出 \(E\) 的过程在上面的 Gauss-Jordan 消元法中已经提及。

线性空间 \(U\) 和 \(V\) 之间的加法：\(\{u+v|u\in U,v\in V\}\)，有维数公式：

\[\dim U+\dim V=\dim(U\cap V)+\dim(U+V) \]

关注秩为 \(1\) 的矩阵。矩阵的每一列都是某个列向量的若干倍，这意味着秩 \(1\) 矩阵可以表示成一个列向量乘上一个行向量，同时不难发现每个可以通过一个列向量乘上一个行向量得到的矩阵都是秩为 \(1\)。回顾最初我们对矩阵乘法的理解，矩阵乘法可以视为 \(A\) 的每一列乘上 \(B\) 的对应行后求和，意味着每个矩阵都可以被分解为若干秩 \(1\) 矩阵的和。进一步地，若矩阵的秩为 \(r\)，每个矩阵最少可以被分解为 \(r\) 个秩 \(1\) 矩阵的和。如果分解成超过 \(r\) 个秩 \(1\) 矩阵，代表存在两个秩 \(1\) 矩阵的列空间有交。

两个矩阵相加后的秩不会超过原先两个矩阵的秩之和，考虑相加后的列空间是原先列空间之和的子空间，根据维数公式可以得到结论。

---

Ⅱ.正交性

首先回顾毕达哥拉斯的伟大定理，对于平面上的直角三角形，\(a^2+b^2=c^2\)。考虑这个定理在线性代数上能否有更加广泛的应用。称 \(\mathbb{R}^n\) 上的两个向量 \(uv\) 正交，当且仅当 \(u^Tv=0\)，即两个向量做点积后得到 \(0\)，记作 \(u\perp v\)。对于正交的向量，有 \(u^2+v^2=(u+v)^2\)，其中 \(u^2\) 为 \(u^Tu\)。将式子展开 \(u^Tu+v^Tv=(u+v)^T(u+v)\)，转置对于向量加法存在分配律，\(u^Tu+v^Tv=u^Tu+u^Tv+v^Tu+v^Tv\)，根据 \(u^Tv=v^Tu=0\) 可以证明。

称两个子空间正交，当且仅当从两个子空间中任意地各选一个向量，两个向量正交。由分配律，验证子空间正交只需验证两个子空间的基正交。空间中两个平面不可能正交，因为它们的交必然存在一个非零向量，该向量和自己并不正交，两个子空间正交必须满足交只有零向量。

对于一个子空间 \(A\)，设 \(B\perp A\) 且 \(C\perp A\)，则 \(B+C\perp A\)。\(B\) 的任意子空间和 \(A\) 都正交。

矩阵的行空间和零空间正交。考察齐次方程 \(Ax=0\)，容易发现 \(x\) 和 \(A\) 的每行都正交，因此 \(x\) 和行空间的基正交。同理，列空间和左零空间正交。若给出某个线性空间的生成集，可以通过将其视为矩阵的行来求出零空间，进而求出与该线性空间正交的某个子空间。根据上一段，某个线性空间一定正交于某个极大的子空间，而零空间就是那个极大的子空间。所有与其正交的线性空间都是零空间的某个子空间。

求出的零空间称为行空间的正交补，行空间和零空间都在 \(\mathbb{R}^n\) 上，行空间的维数 \(r\) 和零空间的维数 \(n-r\) 相加正好为 \(n\)，自然得到正交补的定义，若两个线性空间都为 \(\mathbb{R}^n\) 的子空间且彼此正交，同时相加得到 \(\mathbb{R}^n\)，则称两个线性空间互为正交补，线性空间的正交补唯一。

一维情况下，称 \(b\) 到 \(a\) 的投影是一个与 \(a\) 共线的向量 \(p\)，满足 \(b-p\perp a\)。不妨用 \(xa\) 来表示 \(p\)，则 \(a^T(b-xa)=0\)，得到 \(xa^Ta=a^Tb\)，此时等式两边都是数字，因此 \(x=\frac{a^Tb}{a^Ta}\)。于是 \(p=a\frac{a^Tb}{a^Ta}\)，当 \(b\) 扩大 \(k\) 倍时，\(p\) 也会扩大 \(k\) 倍；当 \(a\) 扩大 \(k\) 倍时，\(p\) 不变。

将 \(P=\frac{aa^T}{a^Ta}\) 称作 \(a\) 的投影矩阵，求出 \(b\) 在 \(a\) 上的投影只需要左乘上投影矩阵。注意到投影矩阵拥有非常良好的形式，它是一列乘上一行，这是秩 \(1\) 矩阵的经典形式。任意向量乘上其都会落在一条直线上也可以说明这一点。考察转置得到 \(P\) 是对称矩阵，考察投影意义得到 \(P^2=P\)。

扩展到高维的情况。对于某个线性空间 \(A\) 以及某个向量 \(b\)，\(b\) 在 \(A\) 上的投影是线性空间中的一个向量 \(p\)，满足 \(b-p\perp A\)。用矩阵 \(A\) 表示线性空间，则 \(b-Ax\perp A\)，即 \(A^T(b-Ax)=0\)。这和一维的情况十分类似。从另一个角度理解这个方程，\(b-Ax\) 与 \(A\) 的列空间正交，考察列空间的正交补，意味着 \(b-Ax\) 在 \(A\) 的左零空间里，可以得到同样的结果。解这个方程，\(A^TAx=A^Tb\)，当然需要去关心 \(A^TA\) 是否可逆。如果我们在构造 \(A\) 时使得 \(A\) 满秩，那么 \(A^TA\) 就是可逆的。首先说明 \(A^TA\) 的零空间等价于 \(A\) 的零空间，\(N(A)\) 显然包含在 \(N(A^TA)\)，同时对于 \(A^TAx=0\)，有 \((Ax)^TAx=(Ax)^2=0\)，即得 \(Ax=0\)。由于 \(A\) 满秩，因此 \(A\) 的零空间中只有零向量，得出 \(A^TA\) 非奇异。

\(x=(A^TA)^{-1}A^Tb\)，得到投影矩阵 \(P=A(A^TA)^{-1}A^T\)。并不能利用 \((AB)^{-1}=B^{-1}A^{-1}\) 去化简这个式子，因为 \(A^{-1}\) 不存在，\(A\) 并非方阵。容易验证有 \(P^T=P\) 和 \(P^2=P\)。投影有何应用？考虑非齐次方程 \(Ax=b\)，有时 \(b\) 并不落在 \(A\) 的列空间中，此时我们想解出 \(b\) 在 \(A\) 上的投影。

我们在操作投影的过程中，并没有刻意说明投影唯一，而是直接通过最后的结果来导出投影唯一。若尝试直接去说明投影唯一，那么等价于对于线性空间 \(A\) 及其正交补 \(B\)，\(B\) 沿着 \(b\in B\) 平移后得到的 \(B'\) 与 \(A\) 只有一个交点。

内部向量两两正交的基称为正交基，若对于 \(q_i\)，\(q_i^2=1\)，则称为标准正交基。考察列向量标准正交的矩阵 \(Q\)，易得 \(Q^TQ=I\)，若 \(Q\) 是方阵则称为正交矩阵。

考虑如何将一个线性无关组变成标准正交基，首先将其正交化，再将其标准化。依次加入向量，我们要求新向量与此前加入的所有向量正交，减去其在线性空间上的投影即可。正交化以后将每个向量除以其长度就可以得到标准正交基，这种方法称为施密特正交化。

若有一个矩阵 \(A\)，及一个对其列向量标准正交化后的矩阵 \(Q\)，则 \(A\) 必然可以写成 \(A=QR\) 的形式。考察 \(R\) 的性质，由 \(Q\) 中列向量 \(q^2=1\) 的性质，可以得到 \(R\) 是一个上三角矩阵，这也称之为矩阵的 \(QR\) 分解。\(R\) 中的每个位置都可以写成 \(A\) 中某一列与 \(Q\) 中某一列的点乘。

正交基具有相当高的独立性，向量在正交基下的分解中，在某个向量方向上的系数与正交基中其它向量无关，为 \(q_i^Tu\)，考虑分解形式左乘上 \(q_i^T\) 即可说明。实际上，空间内的向量就是在标准正交基上每个方向的投影相加。对于不在张成空间内的向量，投影相加的结果就是在张成空间内的投影，因此施密特正交化存在一个自然的增量 \(O(n^2m)\) 做法。

思考一下这种独立性，假设空间内已经有了一个标准正交基，它张成了一个子空间，不妨加入一些向量得到一个新的标准正交基，它张成整个线性空间。考虑一个向量在更大的标准正交基上的分解，其中包含一些在较小正交基中的分量，两者的差显然与子空间垂直（差空间实际上和子空间互为正交补）。因此我们得到了向量在子空间上的一个投影。每次往正交基中加入向量去扩充维度的时候，新向量不会影响此前正交基的性质。

唉，感觉正交性没怎么学明白。

Ⅲ.行列式

一点比较新颖的东西。

初中数学中我们学习了一些 \(\mathbb{R}^2\) 上的四面体和 \(\mathbb{R}^3\) 上一些特殊的六面体，但是并没有给出多面体的严格定义，为了能继续推广，需要先给出一些概念。

多面体的一种定义方法是若干个半平面空间的交，于是先来定义平面。在 \(\mathbb{R}^n\) 上，平面是一个维数为 \(n-1\) 的仿射空间。例如，二维空间上的平面是一条直线，而所有直线都可以通过某条过原点的直线进行平移得到，三维空间同理。我们想对所有过原点的、维数为 \(n-1\) 维的子空间进行平移得到所有平面，首先所有过原点的平面都可以被写作某个向量的正交补空间，于是所有平面就可以写作某个向量的正交补空间进行平移后得到的结果。若有向量 \(a\)，其的正交补空间为 \(\{x|a^Tx=0\}\)，对其沿 \(x_0\) 平移后的结果就是 \(\{x|a^T(x-x_0)=0\}\)，自然可以写作 \(a^Tx=b\) 的形式，于是得到了超平面的一般形式：\(\{x|a^Tx=b\}\)。

注意一个超平面不能唯一确定一组 \((a,b)\)，确定的若干组 \((a,b)\) 中满足所有 \(a\) 都在这个超平面的正交补中。

进一步地，一个半平面空间记作 \(\{x|a^Tx\leq b\}\)。一个多面体被定义为若干个半平面空间和超平面的交，加上超平面是为了保证边界被覆盖。

对于有界的多面体，按照如下定义其体积。任选 \(\mathbb{R^n}\) 上的超平面 \(A\)，用 \(A+b\) 去切多面体，多面体的体积即为截面面积的积分。目前不需要研究过于复杂的多面体体积，简化多面体的形式，称一个线性无关的向量组确定的一个多面体为点集：

\[\{c_1a_1+c_2a_2+\dots+c_ma_m,c_i\in[0,1]\} \]

此时多面体的形状非常简单，是一个平行 \(m\) 面体。不妨先来研究 \(a\) 是正交基时多面体的体积，一个看上去相当有道理的结论是多面体的体积是各个向量的长度乘积，大概对其做 \(m\) 重积分可以证明这个结论。我们有祖暅定理：同底等高的平行多面体体积相等。因此只需将一般基正交化就可以求出其对应的平行多面体体积了。

用行列式的绝对值来表示矩阵列向量确定的多面体面积，考虑这应该满足什么条件：

• 列的多重线性性。

• 交换两个向量，体积不变。

• 标准正交基体积为 \(1\)。

• 任意一个向量加上其它向量的线性组合，体积不变，因为正交基不变。

用右手定则可以确定多面体的有向面积，我只会 \(\mathbb{R}^3\) 中的情形。行列式的正负号来确定有向面积，需要满足交换两个向量，行列式取反。