《线性代数及其应用》学习笔记

观前提醒：此文年代过于久远，不保证内容的准确性，有锅我是不会修的。

第 1 章——线性代数中的线性方程组

1.1——线性方程组

线性方程组有解，则称为相容的（很好理解吧）；否则称为不相容的。两个线性方程组解集相同，则称为等价的。
线性方程组的系数矩阵、增广矩阵。$m$ 行 $n$ 列的矩阵是 $m\times n$ 矩阵。

对于任意矩阵，定义施加于它的初等行变换：

倍加变换：将某一行的倍数加到另一行上；
对换变换：交换两行；
倍乘变换：将某一行乘以一个非零常数。

若一个矩阵 $A$ 可以通过有限次初等行变换变成另一个矩阵 $B$，则说 $A$ 行等价于 $B$。容易发现初等行变换可逆：对倍加变换，将倍数取相反数重新操作一遍；对对换变换，重新换一遍；对倍乘变换，乘以原常数的倒数。于是行等价关系是对称的。结合其显然的自反性和传递性，得知行等价是等价关系。
易证：两个方程数、变量数相等的线性方程组等价当且仅当它们的增广矩阵行等价。这为解线性方程组提供了思路。

1.2——行化简与阶梯形（型？）矩阵

阶梯型、简化阶梯型

一个矩阵的某一行若全是 $0$，则称为零行；否则称为非零行（对列类似）。非零行最左边的非零元素称为该行的先导元素。

一个矩阵称为阶梯型矩阵当且仅当：

从上到下，非零行性（是非零行则为 $1$，否则为 $0$）非严格单调降；
非零行前缀中，从上到下，先导元素所在列的号严格单调升。

一个矩阵称为简化阶梯型矩阵当且仅当它是阶梯型矩阵且：

每个先导元素都是 $1$；
每个先导元素都是所在列中唯一一个非零元素。

将一个矩阵通过初等行变换变成阶梯型或简化阶梯型称为行化简。用于行化简的高斯消元算法：

选取最左边的非零列；
在该列中任意选取一个非零元素，通过对换变换将该行移到最上面；
通过倍加变换将下面的行的该列元素全部变成 $0$；
暂时不管该行（即第一行），将剩下的子矩阵代回第一步进行循环，直到没有非零列（矩阵内全为 $0$）为止。此时该矩阵已经是阶梯型矩阵；
对每个非零行先用倍加变换将先导元素上面的元素全部变成 $0$，再用倍乘变换将先导元素变成 $1$。此时该矩阵已经是简化阶梯型矩阵。

高斯消元算法说明一个矩阵至少行等价于一个阶梯型、简化阶梯型。一个矩阵可能行等价于多个阶梯型，但是行等价于唯一简化阶梯型。

矩阵的行等价简化阶梯型唯一性证明（自己 yy 出来的，书上附录 A 的证明用到后面的知识，虽然未形成循环论证，但是很不爽）

只要证简化阶梯型不行等价于异于自己的简化阶梯型。

引理：若两个矩阵行等价，则将它们相同的列集合抽出来按相同顺序排列，得到的两个矩阵依然行等价。
证明：初等行变换对各列显然是独立的。

考虑简化阶梯型 $A,B$，$A$ 行等价于 $B$。从左到右扫描 $A$ 的列，任意时刻已经证明 $A,B$ 该列左边所有列都相同，需证该列也相同，最终由归纳法可知 $A=B$。对当前列：

若当前列是 $A$ 的主元列（这个描述懂的都懂），则将 $A,B$ 该列左边（包括该列）的所有主元列抽出来组成两个矩阵，根据引理，它们行等价。$B$ 该列有两种选择，一种是主元列，则结合简化阶梯型各列的性质易证该列的相等性；另一种是非主元列，易证不可能；

若当前列是 $A$ 的非主元列，则将 $A,B$ 该列左边所有主元列以及该列抽出来组成两个矩阵，根据引理，它们行等价。$B$ 该列有两种选择，一种是主元列，易证不可能；另一种是非主元列，易证该列的相等性。

所以对任意行等价的简化阶梯型 $A,B$ 有 $A=B$，原命题得证。

一个矩阵的一切行等价阶梯型都可以用高斯消元的第五步变成唯一简化阶梯型，观察发现该步骤并没有改变任意先导元素的位置，所以知道一个矩阵的任意行等价阶梯型（包括简化阶梯型）的所有先导元素在相同位置上。我们称一个矩阵的任意行等价阶梯型的所有先导元素的位置为该矩阵的主元位置，主元位置所在列叫做主元列。

线性方程组的解

将线性方程组的增广矩阵行化简，得到简化阶梯型，然后该线性方程组的解的情况便不言而喻、一目了然了。

若增广矩阵的最后一列是主元列，那么在简化阶梯型中，该主元位置所在行表示的线性方程为 $0=c(c\neq 0)$，导致线性方程组无解（不相容）；
否则线性方程组是相容的。通过简化阶梯型的每一非零行，可以写出若干形如 $x_h=\sum\limits_gc_gx_{i_g}+C$ 的方程，其中 $x_h$ 是该行的主元位置所在列代表的变量，$i$ 是非主元列代表的变量序列的一个子序列。简化阶梯型的性质导致所有主元列代表的变量在这些方程中仅会出现一次，且在 LHS；非主元列代表的变量可能会出现多次，但仅会出现在 RHS。将这些方程联立起来得到原线性方程组的解集（的一种表示），其中 LHS 的变量（主元列代表的变量）称为基本变量，RHS 的变量（非主元列代表的变量）称为自由变量。给每个自由变量赋上任意实数，此时基本变量也都被确定了，如此可以获得原线性方程组的一切解。相比于原线性方程组是解集的隐式表示，这些方程联立而成的方程组则为解集的显式表示。
若无自由变量（系数矩阵所有列都是主元列），则线性方程组的解唯一，否则有无限多组解。

1.3——向量方程

$n$ 维向量是 $n$ 个实数的有序对。$n$ 个实数都是 $0$ 的向量称为零向量，记作 $\pmb0$ 或 $\pmb0_n$。基于集合的笛卡尔积，$n$ 维向量集合为 $\R^n$。
向量加法、标量乘法。随后易证向量的一切优良代数性质。
向量的几何表示：向量加法 -> 平行四边形法则、标量乘法 -> 方向不变 / 相反且长度缩放。

对同维的向量组 $\pmb v_{1\sim n}$，$\sum\limits_{i=1}^nc_i\pmb v_i$ 称为 $\pmb v_{1\sim n}$ 以 $c_{1\sim n}$ 为权的线性组合。若 $\pmb w$ 是 $\pmb v_{1\sim n}$ 的任意线性组合，则称 $\pmb w$ 能被 $\pmb v_{1\sim n}$ 线性表出。
向量方程 $\sum\limits_{i=1}^nc_i\pmb v_i=\pmb w$ 与增广矩阵 $\begin{bmatrix}\pmb v_{1\sim n}&\pmb w\end{bmatrix}$ 对应的线性方程组是等价的。
$\pmb v_{1\sim n}$ 能线性表出的所有向量构成的集合称为 $\pmb v_{1\sim n}$ 的生成（/ 张成）空间，记为 $\mathrm{Span}\{\pmb v_{1\sim n}\}$。$\pmb 0$ 属于任意生成空间。

1.4——矩阵方程 $A\pmb x=\pmb b$

向量的线性组合可以看作矩阵与向量的积，即 $\sum\limits_{i=1}^nc_i\pmb v_i=[\pmb v_{1\sim n}]\pmb c$。这定义了矩阵与向量的乘法，其中矩阵的列数等于向量的维数。
向量方程可以改写成矩阵方程，于是线性方程组、向量方程、矩阵方程三者是等价的表示。矩阵方程有解，当且仅当矩阵各列能线性表出特定向量，又当且仅当对应线性方程组相容。

设计 $m\times n$ 矩阵 $A$ 的矩阵方程 $A\pmb x=\pmb b$ 对 $\R^m$ 中任意 $\pmb b$ 都有解，当且仅当对任意 $\pmb b$，增广矩阵 $\begin{bmatrix}A&\pmb b\end{bmatrix}$ 的最后一列都不是主元位置。根据初等行变换各列的独立性，先把 $A$ 行化简，若有零行，则显然存在 $\pmb b$ 使方程组无解；否则显然对任意 $\pmb b$ 都有解。于是知道 $A\pmb x=\pmb b$ 对每个 $\pmb b$ 都有解，当且仅当 $A$ 的每一行都有主元位置（行等价简化阶梯型没有非零行），此时一个等价的事实是 $A$ 的各列生成 $\R^m$。

矩阵乘以向量关于向量的线性性。

1.5——线性方程组的解集

矩阵方程 $A\pmb x=\pmb 0$ 对应的线性方程组称为齐次线性方程组（因为每个方程只有一次项，没有常数项（零次项））。$\pmb x=\pmb 0$ 一定是一个解，它称为平凡解；其它解称为非平凡解。
$A\pmb x=\pmb 0$ 是否有非平凡解，显然等价于它是否有无限解（不是唯一解）。那么 $A\pmb x=\pmb 0$ 仅有平凡解当且仅当 $A$ 的所有列都是主元列。

由于 $\pmb b=\pmb 0$，矩阵方程 $A\pmb x=\pmb 0$ 的增广矩阵 $\begin{bmatrix}A&\pmb 0\end{bmatrix}$ 的行等价简化阶梯型最右边一列一定是 $\pmb 0$，那么该齐次线性方程组的解集一定是将基本变量表示成自由变量的线性组合的形式（即 $C=0$）。考虑到矩阵方程的解集实际上要将 $x_{1\sim n}$ 合并成一个向量 $\pmb x$ 来写的需求，将解集写成 $c_g$ 们（自由变量处，自己的位置填 $1$，其它填 $0$）组成的向量们以自由变量为权的线性组合的形式，即 $c_g$ 们组成的 $n\times s$（$s$ 为自由变量个数）矩阵乘以自由变量向量，称为该齐次线性方程组的解集的参数向量形式。由于自由变量们可以取任意值，即自由变量向量可以取任意值，解集（解为解向量 $\pmb x$）可以看作 $n\times s$ 系数矩阵各列的生成空间，称为该矩阵方程的解空间。
而若 $\pmb b\neq \pmb 0$，线性方程组不是齐次的，依然可以写出解集的参数向量形式，只需要在 $\pmb b=\pmb 0$ 时的解集的参数向量形式上面加上 $C$ 们构成的向量 $\pmb C$ 即可（自由变量处填 $0$）。事实上，将这个向量换成任意特解都可以，正确性显然。而此时解集不包含 $\pmb 0$，不再是某个向量组的生成空间（线性空间，后面会讲）。

$m\times n$ 矩阵 $A$ 各列生成 $\R^m$ 以及 $A\pmb x=\pmb 0$ 仅有平凡解（后面会说到，这就是各列线性无关）的条件的对比：前者是每行都有主元位置，即有 $m$ 个主元位置；后者是每列都有主元位置，即有 $n$ 个主元位置。由于主元位置个数不超过 $\min(m,n)$，所以当 $m>n$ 时前者必定不成立，当 $n>m$ 时后者必定不成立，只有 $n=m$ 时才可能两者都成立。而又由于行等价的矩阵的所有主元位置相同，所以初等行变换不改变矩阵的两者的成立与不成立。

1.7——线性无关

同维的向量组 $\pmb v_{1\sim n}$ 线性无关的第一定义：向量方程 $\sum\limits_{i=1}^nc_i\pmb v_i=\pmb 0$ 仅有平凡解。
第二定义：不存在 $\pmb v_i$ 能被其它 $n-1$ 个向量线性表出。
易证两种定义的等价性。不是线性无关的向量组是线性相关的。
显然，矩阵 $A$ 各列线性无关当且仅当矩阵方程 $A\pmb x=\pmb 0$ 仅有平凡解。

易证，当 $m\times n$ 矩阵满足 $m<n$ 或存在零列时，这个矩阵各列一定线性相关。

1.8——线性变换介绍、1.9——线性变换的矩阵

由 $\R^n$ 到 $\R^m$ 的一个变换是一个映射 $T:\R^n\to \R^m$，定义域 $\R^n$ 中每个向量 $\pmb v$ 对应取值空间 $\R^m$ 中的一个向量 $T(\pmb v)$，称 $T(\pmb v)$ 是 $\pmb v$ 在变换 $T$ 下的像。所有像 $T(\pmb v)$ 构成的集合是变换 $T$ 的值域。

一个由 $\R^n$ 到 $\R^m$ 的矩阵变换是一个 $\R^n$ 到 $\R^m$ 的变换 $T:T(\pmb v)=A\pmb v$，其中 $A$ 是一个 $m\times n$ 矩阵。$T$ 的值域为 $A$ 各列的生成空间。
一个变换 $T$ 是线性的（称为线性变换）当且仅当它满足线性性，即对定义域中一切 $x,y$ 以及一切实数 $a,b$ 满足 $T(ax+by)=aT(x)+bT(y)$。
矩阵变换显然都是线性变换。从 $\R^n$ 到 $\R^m$ 的线性变换 $T$ 也都是矩阵变换，对应矩阵为 $A=\begin{bmatrix}T(\pmb e_1)&T(\pmb e_2)&\cdots&T(\pmb e_n)\end{bmatrix}$，正确性和唯一性易证。$T:\R^n\to \R^m$ 对应的 $m\times n$ 矩阵 $A$ 叫做 $T$ 的标准矩阵。

若线性变换 $T:\R^n\to\R^m$ 的值域等于取值空间，则称为满射。$T$ 为满射当且仅当 $m\times n$ 的标准矩阵 $A$ 各列生成 $\R^m$。
若对值域中每个像都有唯一的 $\R^n$ 中的 $\pmb v$ 映射到它，则称该线性变换为单射。不难证明，涉及标准矩阵 $A$ 的矩阵方程 $A\pmb x=\pmb b$ 对 $T$ 值域中的每个 $\pmb b$ 的解的唯一性全部相同（因为系数矩阵 $A$ 是否每列都是主元列（即线性方程组是否无自由变量）与 $\pmb b$ 无关）。由此得到 $T$ 为单射当且仅当 $A\pmb x=\pmb 0$ 仅有平凡解，即 $A$ 各列线性无关。
同时为满射和单射的线性变换称为双射。由 1.5 节中的高亮字可知线性变换 $T:\R^n\to\R^m$ 是双射仅当 $n=m$，即标准矩阵是方阵。

一些 $\R^2\to \R^2$ 的典型的线性变换（除了投影变换既不是满射也不是单射外，其它都是双射）

旋转变换：$A=\begin{bmatrix}\cos\theta&-\sin\theta\\\sin\theta&\cos\theta\end{bmatrix}$（逆时针旋转 $\theta$ 的角度）。
对称变换：$A=\begin{bmatrix}1&0\\0&-1\end{bmatrix}$（关于 $x$ 轴对称）、$A=\begin{bmatrix}-1&0\\0&1\end{bmatrix}$（关于 $y$ 轴对称）、$A=\begin{bmatrix}0&1\\1&0\end{bmatrix}$（关于 $y=x$ 对称）、$A=\begin{bmatrix}0&-1\\-1&0\end{bmatrix}$（关于 $y=-x$ 对称）、$A=\begin{bmatrix}-1&0\\0&-1\end{bmatrix}$（关于原点对称）。
收缩 / 拉伸变换：$A=\begin{bmatrix}k&0\\0&1\end{bmatrix}$（$0<k<1$ 时为水平收缩，$k>1$ 时为水平拉伸）、$A=\begin{bmatrix}1&0\\0&k\end{bmatrix}$（$0<k<1$ 时为垂直收缩，$k>1$ 时为垂直拉伸）。
剪切变换：$A=\begin{bmatrix}1&k\\0&1\end{bmatrix}$（水平剪切）、$A=\begin{bmatrix}1&0\\k&1\end{bmatrix}$（垂直剪切）。
投影变换：$A=\begin{bmatrix}1&0\\0&0\end{bmatrix}$（投影到 $x$ 轴上）、$A=\begin{bmatrix}0&0\\0&1\end{bmatrix}$（投影到 $y$ 轴上）。

第 2 章——矩阵代数

2.1——矩阵运算

矩阵 $A=[\pmb a_{1\sim n}]$ 的第 $i$ 行第 $j$ 列元素表示为 $A_{i,j}$ 或 $a_{j,i}$。非主对角线位置的元素都是 $0$ 的**方阵**称为对角矩阵。元素全是 $0$ 的矩阵称为零矩阵，表示为 $O$ 或 $O_{m\times n}$，其中 $m\times n$ 是矩阵的行数、列数。

矩阵加法、标量乘法（可看作向量组）。矩阵加法的交换律、结合律，标量乘法关于标量、矩阵的线性性。

欲定义二元矩阵乘法，使得结果等于两者代表的线性变换的复合的标准矩阵。根据映射可复合的充要条件：后者的值域包含于前者的定义域，可知矩阵 $A,B$ 的乘法有定义当且仅当 $B$ 的行数等于 $A$ 的列数，设 $A$ 为 $m\times n$，$B$ 为 $n\times p$，则 $AB$ 为 $m\times p$。根据确定线性变换的标准矩阵的方法，$AB=\begin{bmatrix}A(B\pmb e_1)&A(B\pmb e_2)&\cdots&A(B\pmb e_p)\end{bmatrix}=\begin{bmatrix}A\pmb b_1&A\pmb b_2&\cdots&A\pmb b_p\end{bmatrix}$。这就是矩阵乘法的定义。
容易得到 $(AB)_{i,j}=\sum\limits_{k=1}^nA_{i,k}B_{k,j}$，这是计算矩阵乘法的行列法则。
矩阵乘法的结合律、关于左元和右元的线性性。矩阵乘法没有交换律（交换后甚至可能没有定义）和消去律（未对普遍的矩阵定义矩阵除法，普遍的矩阵乘法关于左元和右元均无逆运算）。
主对角线元素都是 $1$ 的对角矩阵称为单位矩阵，$n\times n$ 单位矩阵记作 $I$ 或 $I_n$。易证对 $m\times n$ 矩阵 $A$ 有 $I_mA=AI_n=A$，对 $\pmb v\in\R^n$ 有 $I_n\pmb v=\pmb v$。

对 $n\times n$ 方阵有幂的定义，对 $k\in\N_+$，$A^k=\underbrace{AA\cdots A}_{k\text{个}A}$。自然地定义 $A^0=I_n$，因 $I_n$ 是 $n\times n$ 矩阵乘法（左乘 & 右乘）单位元。

定义 $m\times n$ 矩阵的转置：$\left(A^{\mathrm T}\right)_{i,j}=A_{j,i}$，其中 $A^{\mathrm T}$ 是 $n\times m$ 矩阵。易证转置是自己的逆运算、转置的线性性。一些矩阵按顺序的乘积的转置等于它们的转置按相反顺序的乘积。

2.2——矩阵的逆、2.3——可逆矩阵的特征

逆矩阵的定义、性质

对 $m\times n$ 矩阵 $A$、$n\times m$ 矩阵 $B,C$，若 $BA=I_n,AC=I_m$，则推出 $B=BI_m=B(AC)=(BA)C=I_nC=C$。且：

对 $\pmb 0\neq\pmb v\in \R^n$，若 $A\pmb v=\pmb 0_m$，则 $B(A\pmb v)=\pmb 0_n$，即 $I_n\pmb v=\pmb 0$，那么一定有 $\pmb v=\pmb 0$，与 $\pmb v\neq\pmb 0$ 矛盾。所以 $A\pmb v=\pmb 0$ 仅有平凡解，即 $A$ 各列线性无关。
对 $\pmb v\in\R^m$，若矩阵方程 $A\pmb x=\pmb v$ 无解，则对 $\pmb t\in\R^m$ 有 $A(C\pmb t)=\pmb v$ 无解，即 $I_m\pmb t=\pmb v$ 无解。而 $\pmb t=\pmb v$ 显然是一个解，矛盾。所以 $A$ 各列生成 $\R^m$。

综上，根据 1.5 节的高亮字，得到 $A$ 一定是方阵。结合 $B=C$，可给出逆矩阵的定义：对 $n\times n$ 方阵 $A$，若存在 $n\times n$ 矩阵 $B$ 满足 $BA=AB=I_n$，则称该唯一的 $B$ 为 $A$ 的逆矩阵，它们互逆，记为 $B=A^{-1}$。有逆矩阵的方阵称为可逆矩阵或非奇异矩阵，否则称为不可逆矩阵或奇异矩阵。
易证：可逆矩阵求逆是自己的逆运算，$\left(A^{\mathrm T}\right)^{-1}=\left(A^{-1}\right)^{\mathrm T}$，一些矩阵按顺序的乘积的逆矩阵等于它们的逆矩阵按相反顺序的乘积。

对线性变换 $T:\R^n\to \R^n$，若存在变换 $U:\R^n\to \R^n$ 满足对任意 $\pmb v\in \R^n$ 有 $T(U(\pmb v))=U(T(\pmb v))=\pmb v$，则易证 $U$ 的线性性。称 $T,U$ 为可逆线性变换，它们互为逆变换，记作 $U=T^{-1}$。显然一对 $\R^n\to \R^n$ 的线性变换互逆当且仅当它们的标准矩阵互逆，那么逆线性变换的一切性质（唯一性等等）都可通过研究它们的标准矩阵得到。

初等矩阵

将 $I$ 经过一次初等行变换得到的矩阵称为初等矩阵。易证（对三种分别证明），将初等矩阵左乘任意矩阵（乘法要有定义），得到原矩阵经过相同初等行变换得到的矩阵。于是知道初等行变换可由初等矩阵左乘描述。在 1.1 节中知初等行变换可逆，于是初等矩阵可逆。
若 $n\times n$ 方阵 $A$ 行等价于 $I_n$，则可以将 $A$ 分解成若干个初等矩阵按 $I_n$ 初等行变换到 $A$ 的顺序左乘，设为 $A=E_mE_{m-1}\cdots E_1$，由于初等矩阵都可逆，$A$ 也可逆，$A^{-1}=E_1^{-1}E_2^{-1}\cdots E_m^{-1}$。若不行等价，则显然各列线性相关、不生成 $\R^n$，根据上面 1、2 两条，它无法可逆。于是得到，一个方阵可逆，当且仅当它行等价于 $I$，即每行、每列都有主元位置（且在主对角线上）。

对关于 $n\times n$ 可逆矩阵 $A$ 的矩阵方程 $A\pmb x=\pmb b$，线性变换 $T(\pmb v)=A\pmb v$ 显然是双射，于是该方程对任意 $\pmb b\in \R^n$ 都有唯一解。又易证 $\pmb x=A^{-1}\pmb b$ 是一个解，所以它就是这个唯一解。

若对 $n\times n$ 方阵 $A,B$ 有 $AB=I_n$，根据上面第 2 条，知 $A$ 各列生成 $\R^n$，于是它行等价于 $I_n$，是可逆矩阵，那么 $A^{-1}(AB)=A^{-1}I_n$，所以 $B=A^{-1}$。反过来，若 $BA=I_n$，根据上面第 1 条得到相同结论。于是知道 $A$ 可逆只需要知道存在 $n\times n$ 方阵 $B$ 满足 $AB=I^n$ 或 $BA=I^n$ 中的任意一个条件，然后另一个条件也自动成立了，并且 $A,B$ 互逆。

可逆矩阵求逆算法：将 $n\times 2n$ 矩阵 $\begin{bmatrix}A&I\end{bmatrix}$ 以行化简 $A$ 为目标行化简，那么设这一系列初等行变换叠加起来得到的矩阵（即这些初等行变换对应的初等矩阵按操作顺序左乘得到的矩阵）为 $E$，则 $EA=I$，那么 $E=A^{-1}$，此时右边新的「$I$」等于 $EI=A^{-1}I=A^{-1}$。
求逆的另一种思路是求 $A^{-1}$ 的每列，对第 $i$ 列有矩阵方程 $A\pmb x=\pmb e_i$。而上述算法就是这个思路做 $n$ 遍高斯消元的简化形式——由于系数矩阵相同，可将 $n$ 个方程一起消元。另一方面，若想知道逆矩阵的某一列，并不需要求出整个逆矩阵，只需要解一个矩阵方程即可。

2.4——分块矩阵

将一个矩阵横着切 $m$ 刀，每段长度为 $m_i$，总长度为 $\Sigma m=\sum m_i$；竖着切 $n$ 刀，每段长度为 $n_i$，总长度为 $\Sigma n=\sum n_i$。

分块矩阵加法、标量乘法可以将切的刀去掉，看作普通的矩阵进行运算，然后再把刀补上。事实上，分块矩阵也能看做一些矩阵构成的矩阵，这样把这些小矩阵看作大矩阵的元素进行矩阵加法、标量乘法，和去刀补刀的方法得到的结果是一样的。这很好理解，因为分块矩阵加法、标量乘法中矩阵各位置相互独立。

神奇的是用切刀补刀的方法计算矩阵乘法，得到的结果与将小矩阵看作元素竟然也一样！
两个 $m\times n$ 和 $n'\times p$ 分块矩阵 $A,B$（设去刀之后分别为 $A',B'$）可以相乘当且仅当 $n=n'$ 且 $\forall i,n_i=n'_i$，即前者在列上的分法与后者在行上的分法相同。这时候根据行列法则暴力展开 $AB$ 和 $A'B'$，就会发现对应位置相等。但是这里空间太小，写不下。

之前对矩阵乘法有两种主要观点：第一种是将左元看作一个整体（本身是一个块），将右元看作向量组（每列是一个块），这是矩阵乘法的定义；第二种是将左元和右元拆到一个个元素（每个元素是一个块），这是矩阵乘法的行列法则。事实上按照其它分法来分也是完全可行的，只要左元的列和右元的行分法相同。
这里给出另一种有用的分法：设矩阵 $X$ 的第 $i$ 列为 $\mathrm{col}_i(X)$，第 $i$ 行为 $\mathrm{row}_i(X)$，则 $AB=\sum\limits_{i=1}^n\mathrm{col}_i(A)\mathrm{row}_i(B)$，这是矩阵乘法的列行展开。这是将左元竖着切成 $n$ 列，将右元横着切成 $n$ 行。

第 3 章——行列式

3.1——行列式介绍、3.2——行列式的性质

定义

一个方阵 $A$ 的行列式记为 $\det A$ 或 $|A|$。
行列式的第一定义（直接定义）：记一个排列 $p$ 的逆序对数是 $\sigma(p)$，若它的逆序对数是奇数，则称为奇排列，否则称为偶排列。则 $n$ 阶方阵 $A$ 的行列式为 $|A|=\sum\limits_p(-1)^{\sigma(p)}\prod\limits_{i=1}^nA_{i,p_i}$，其中 $p$ 是 $1\sim n$ 的排列。
行列式的第二定义（递归定义）：对 $1$ 阶方阵 $A$ 有 $|A|=A_{1,1}$。记 $M_{i,j}$ 表示去掉 $A$ 的第 $i$ 行、第 $j$ 列得到的 $n-1$ 阶方阵的行列式，称为 $A$ 的 $(i,j)$ 余子式；$C_{i,j}=(-1)^{i+j}M_{i,j}$，称为 $A$ 的 $(i,j)$ 代数余子式。则对 $n>1$ 阶方阵有 $|A|=\sum\limits_{i=1}^nA_{1,i}C_{1,i}$。
行列式的第三定义（几何定义）：$n$ 阶方阵 $A$ 的行列式为线性变换 $T(\pmb v)=A\pmb v$ 将图形的有向超体积翻的倍数。

归纳易证第一定义和第二定义的等价性。第三定义和前两者的等价性不会证，呵呵。今后行列式的各种性质可以使用三种定义里较为舒服的一种证明。
事实上，$n$ 阶行列式按任意行、任意列都可以展开，按第 $x$ 行展开为 $|A|=\sum\limits_{i=1}^nA_{x,i}C_{x,i}$，按第 $x$ 列展开为 $|A|=\sum\limits_{i=1}^nA_{i,x}C_{i,x}$，称为 $A$ 的第 $x$ 行 / 列的余因子展开式，正确性可以直接证明与第一定义的等价性。特殊地，第二定义是第 $1$ 行的余因子展开式。

性质

根据第一定义易证 $|A|=\left|A^{\mathrm T}\right|$。这说明方阵的行列式性质中，行和列有同等地位，一切适用于行的性质对列同样适用，如上述的余因子展开以及下述初等行变换等等。

根据余因子展开法则易证有零行 / 零列的方阵行列式为 $0$，根据第一定义易证有成比例的行 / 列的方阵行列式为 $0$。
若一个方阵的主对角线以下全是 $0$，则称为上三角矩阵（阶梯型是特殊的上三角矩阵）；若主对角线以上全是 $0$，则称为下三角矩阵。根据第一定义易证，上三角矩阵和下三角矩阵的行列式为主对角线元素的乘积。
根据余因子展开法则易证方阵行列式对某一行 / 列的线性性。
根据第三定义易证 $|AB|=|A||B|$。

方阵做初等行变换时行列式的变换：

做倍加变换，方阵的行列式不变。先用对行的线性性拆开，然后根据「有成比例的行的方阵行列式为 $0$」易证拆出来另一个方阵的行列式为 $0$；
做对换变换，方阵的行列式取相反数。根据第一定义易证（将排列的不同元素交换，奇偶性必改变）；
做倍乘变换，方阵的行列式乘以相同倍数。根据对行的线性性易证。

计算行列式的算法：将它使用高斯消元算法行化简为阶梯型，过程中只用到了对换变换和倍乘变换，倍乘变换前后行列式不变，对换变换行列式乘以 $-1$。记录下乘以了多少个 $-1$，最终阶梯型已经是上三角矩阵，将主对角线元素乘起来然后乘以这多少个 $-1$ 得到原来的方阵的行列式。

显然对于阶梯型，它各列线性无关当且仅当行列式非零（因为行列式为零当且仅当主对角线有零元素，那么此时必定没有 $n$ 个主元位置）。而行化简过程中的初等行变换不改变行列式的零性，于是知道方阵各列线性无关当且仅当行列式非零。

范德蒙德行列式：设向量 $\pmb v_x$ 满足 $v_{x,i}=x^{i-1}$，则 $D=\begin{vmatrix}\pmb v_{x_1}&\pmb v_{x_2}&\cdots&\pmb v_{x_n}\end{vmatrix}=\prod\limits_{i=1}^n\prod\limits_{j=1}^{i-1}(x_i-x_j)$。
证明：考虑归纳，对 $1$ 阶显然满足。当 $n>1$ 时，假设对 $n-1$ 阶满足范德蒙德行列式。将 $\begin{bmatrix}\pmb v_{x_1}&\pmb v_{x_2}&\cdots&\pmb v_{x_n}\end{bmatrix}$ 对除了第一行的每行同时将该行减去上一行的 $x_1$ 倍（这是倍加变换，不改变行列式），得到 $D=\begin{vmatrix}1&1&\cdots&1\\\pmb 0&(x_2-x_1)\pmb v_{x_2}&\cdots&(x_n-x_1)\pmb v_{x_n}\end{vmatrix}$。按第一列展开，只有 $(1,1)$ 代数余子式有效，于是 $D=\begin{vmatrix}(x_2-x_1)\pmb v_{x_2}&(x_3-x_1)\pmb v_{x_3}&\cdots&(x_n-x_1)\pmb v_{x_n}\end{vmatrix}$。根据行列式对列的线性性，把每列的公因子提出：$D=\prod\limits_{i=2}^n(x_i-x_1)\cdot\begin{vmatrix}\pmb v_{x_2}&\pmb v_{x_3}&\cdots&\pmb v_{x_n}\end{vmatrix}$。这个行列式是一个 $n-1$ 阶范德蒙德行列式，根据假设 $D=\prod\limits_{i=2}^n(x_i-x_1)\cdot\prod\limits_{i=2}^n\prod\limits_{j=2}^{i-1}(x_i-x_j)=\prod\limits_{i=1}^n\prod\limits_{j=1}^{i-1}(x_i-x_j)$，得证。

3.3——克拉默（克莱姆）法则、体积和线性变换

克莱姆法则：对可逆（不可逆显然无解或无限解）的 $n$ 阶方阵 $A=[\pmb a_{1\sim n}]$，矩阵方程 $A\pmb x=\pmb b$ 的唯一解是 $x_i=\dfrac{|A_i(\pmb b)|}{|A|}$，其中 $A_i(\pmb b)$ 表示将 $A$ 的第 $i$ 列替换成 $\pmb b$ 得到的矩阵。
证明：显然有 $AI_i(\pmb x)=A_i(\pmb b)$，所以 $|A||I_i(\pmb x)|=|A_i(\pmb b)|$。按第 $i$ 行展开得到 $|I_i(\pmb x)|=x_i$，所以 $|A|x_i=|A_i(\pmb b)|$。由于 $A$ 可逆，所以 $|A|\neq 0$，所以 $x_i=\dfrac{|A_i(\pmb b)|}{|A|}$，得证。

考虑求 $n$ 阶可逆矩阵 $A$ 的逆矩阵 $A^{-1}$。显然 $A^{-1}$ 的第 $i$ 列是矩阵方程 $A\pmb x=\pmb e_i$ 的解。由克莱姆法则得到 $x_j=\dfrac{|A_j(\pmb e_i)|}{|A|}$。按第 $j$ 列展开得到 $|A_j(\pmb e_i)|=C_{i,j}$，其中 $C_{i,j}$ 是 $A$ 的 $(i,j)$ 代数余子式。所以 $A^{-1}_{i,j}=\dfrac{C_{j,i}}{|A|}$。设 $C_{i,j}$ 们组成的矩阵为 $C$，然后 $\operatorname{adj}A=C^{\mathrm T}$ 称为 $A$ 的伴随矩阵，则 $A^{-1}=\dfrac{\operatorname{adj}A}{|A|}$。

第 4 章——向量（线性）空间

4.1——向量（线性）空间与子空间

线性空间

一个集合 $V$ 上定义了二元加法和标量乘法，若满足以下条件（经过简化的十大公理），则 $V$ 被称为线性空间，$V$ 中的元素被称为「向量」（这里是广义的向量，除非必要（如涉及矩阵操作）不要求能被写成数组的形式）：

$V$ 对加法和标量乘法封闭；
加法有交换律、结合律，标量乘法关于标量、向量有线性性；
存在加法单位元 $\pmb 0\in V$，被称为零向量；对 $\forall \pmb v\in V$ 存在加法逆元 $-\pmb v$，被称为 $\pmb v$ 的负向量；
标量乘法的标量单位元为 $1$。

零向量的唯一性证明：若存在 $\pmb 0_1\neq \pmb 0_2,\pmb 0_1,\pmb 0_2\in V$，由加法单位元的定义有 $\pmb 0_1+\pmb 0_2=\pmb 0_1=\pmb 0_2$，矛盾。
负向量的唯一性证明：对 $\pmb v\in V$，若存在两个负向量 $\pmb w_1\neq \pmb w_2,\pmb w_1,\pmb w_2\in V$，由加法逆元的定义有 $\pmb w_1+\pmb v=\pmb w_2+\pmb v=\pmb 0$，则 $\pmb w_1+(\pmb v+\pmb w_1)=\pmb w_2+(\pmb v+\pmb w_1)$，即 $\pmb w_1+\pmb0=\pmb w_2+\pmb 0$，所以 $\pmb w_1=\pmb w_2$，矛盾。
根据标量乘法关于标量的线性性，对 $\forall \pmb v\in V$ 有 $0\pmb v=(0+0)\pmb v=0\pmb v+0\pmb v$，两边加上 $-0\pmb v$ 得到 $0\pmb v=\pmb 0$。
根据标量乘法关于向量的线性性，对任意标量 $c$ 有 $c\pmb 0=c(\pmb 0+\pmb 0)=c\pmb 0+c\pmb 0$，两边加上 $-c\pmb 0$ 得到 $c\pmb 0=\pmb 0$。
根据标量乘法关于标量的线性性，对 $\forall \pmb v\in V$ 有 $\pmb v+(-1)\pmb v=(1-1)\pmb v=\pmb 0$。两边加上 $-\pmb v$ 得到 $(-1)\pmb v=-\pmb v$。

子空间

对线性空间 $V$ 的子集 $W$，若 $W$ 与 $V$ 定义的线性运算（向量加法和标量乘法）相同且满足以下条件，则称 $W$ 是 $V$ 的子空间：

$V$ 中的 $\pmb 0$ 在 $W$ 中；
$W$ 对向量加法和标量乘法封闭。

易证，$W$ 是线性空间 $V$ 的子空间当且仅当 $W\subseteq V$ 同时 $W$ 上定义的线性运算与 $V$ 相同且 $W$ 也是一个线性空间。对任意线性空间 $V$，仅包含零向量的线性空间 $\{\pmb 0\}$ 一定是 $V$ 的子空间。

任意向量组的生成空间（这里广义向量组的生成空间、线性无关性的定义与真·向量组的定义相同）一定是线性空间。对任意齐次线性方程组，写出解集的参数向量形式后，发现解集也是生成空间，于是解集是线性空间。
对于线性空间 $V$ 中的向量组 $\pmb v_{1\sim n}$，易证 $W=\mathrm{Span}\{\pmb v_{1\sim n}\}\subseteq V$，所以 $W$ 一定是 $V$ 的子空间。

4.2——零空间、列空间和线性变换

对 $m\times n$ 矩阵 $A$，齐次矩阵方程 $A\pmb x=\pmb 0$ 的解集称为 $A$ 的零空间，记为 $\operatorname{Nul}A$，它是 $\R^n$ 的子空间。
零空间的定义是隐式的；而判断一个向量是否属于某矩阵的零空间却是显式的，只需要带入方程检验。
解出方程 $A\pmb x=\pmb 0$ 的解集的参数向量形式，可以得到 $\operatorname{Nul}A$ 的一个显式刻画。

对 $m\times n$ 矩阵 $A$，$A$ 各列的生成空间称为 $A$ 的列空间，记为 $\operatorname{Col}A$，它是 $\R^m$ 的子空间。
列空间的定义是显式的；而判断一个向量是否属于某矩阵的列空间却是隐式的，需要判断矩阵方程 $A\pmb x=\pmb b$ 是否有解。

之前定义了 $\R^n\to \R^m$ 的线性变换，现在做一个推广：对于任意两个线性空间 $V,W$，$V$ 到 $W$ 的变换若满足线性性，则称为 $V\to W$ 的线性变换。
线性变换 $T:V\to W$ 的核为 $T(\pmb v)=\pmb 0$（其中 $\pmb 0$ 为 $W$ 中的零向量）的解集，易证它是 $V$ 的子空间。
线性变换 $T:V\to W$ 的值域为 $\{T(\pmb v)\mid \pmb v\in V\}$，易证它是 $W$ 的子空间。
若 $V=\R^n,W=\R^m$，即「向量」是真·向量，则 $T$ 可以写成矩阵变换 $T(\pmb v)=A\pmb v$，此时 $T$ 的核为 $\operatorname{Nul}A$，值域为 $\operatorname{Col}A$。

4.3——线性无关集和基、4.4——坐标系

定义一个线性空间 $V$ 的一个基是一个向量组 $\mathcal B=\{\pmb b_{1\sim n}\}$ 使得 $\mathcal B$ 线性无关且 $\operatorname{Span}\mathcal B=V$。

对一个线性空间 $V$，选定任意一组基 $\mathcal B=\{\pmb b_{1\sim n}\}$，则对于 $\forall \pmb v\in V$，$\pmb v$ 都能被 $\mathcal B$ 以唯一权线性表出。证明：显然权 $\pmb c$ 满足条件当且仅当对 $\forall \pmb v\in V$ 矩阵方程 $\begin{bmatrix}\pmb b_1&\pmb b_2&\cdots&\pmb b_n\end{bmatrix}\pmb c=\pmb v$ 有唯一解。根据基的线性无关性，这个方程没有自由变量，得证。
那么对 $\forall \pmb v\in V$，定义 $\pmb v$ 被 $\mathcal B$ 线性表出的权组成的向量为 $\pmb v$ 的 $\mathcal B$ 坐标，记作 $[\pmb v]_{\mathcal B}\in \R^n$。易证映射 $T(\pmb v)=[\pmb v]_{\mathcal B}$ 是 $V\to \R^n$ 的线性变换，且是双射，称为 $V$ 的 $\mathcal B$ 坐标映射。
我们定义线性空间 $V,W$ 之间若存在一个双射的线性变换（此时显然有逆变换），则称 $V,W$ 同构。那么若 $V$ 的一个基 $\mathcal B$ 有 $n$ 个向量，通过 $\mathcal B$ 坐标映射给出了 $V$ 和 $\R^n$ 同构的方式。感性地理解：原本 $V$ 中的广义向量可能无法表示成数组，定义的线性运算也可能不熟悉；而现在给出坐标映射后，能将每个广义向量当作一个真·向量来处理，线性运算也是普通的向量加法和标量乘法，就好研究很多。

4.5——向量（线性）空间的维数、4.6——秩

维数、秩的定义

对于一个线性空间 $V$ 以及任意一个基 $\mathcal B=\{\pmb b_{1\sim n}\}$，考察 $V$ 中的向量组 $\pmb v_{1\sim m}$，其中 $m>n$。它们的 $\mathcal B$ 坐标为 $[\pmb v_1]_{\mathcal B},[\pmb v_2]_{\mathcal B},\cdots,[\pmb v_m]_{\mathcal B}$。由于向量个数 $m$ 大于向量维数 $n$，所以它们必定线性相关，即存在不全为 $0$ 的权 $c_{1\sim m}$ 使得 $\sum\limits_{i=1}^mc_i[\pmb v_i]_{\mathcal B}=\pmb 0_n$。根据坐标映射的线性性有 $\left[\sum\limits_{i=1}^mc_i\pmb v_i\right]_{\mathcal B}=\pmb 0_n$。$V\to \R^n$ 的单射线性变换必定仅把 $V$ 中的零向量映射到 $\pmb 0_n$，所以 $\sum\limits_{i=1}^mc_i\pmb v_i=\pmb 0$。又由于 $c_i$ 不全为 $0$，所以 $\pmb v_{1\sim m}$ 线性相关。
再考察 $m<n$ 的情况。它们的 $\mathcal B$ 坐标们 $[\pmb v_1]_{\mathcal B},[\pmb v_2]_{\mathcal B},\cdots,[\pmb v_m]_{\mathcal B}$ 由于向量个数 $m$ 小于向量维数 $n$，不可能生成 $\R^n$，即必存在 $\pmb w\in \R^n$ 使得不存在权 $c_{1\sim m}$ 使 $\sum\limits_{i=1}^mc_i[\pmb v_i]_{\mathcal B}=\pmb w$，即 $\left[\sum\limits_{i=1}^mc_i\pmb v_i\right]_{\mathcal B}=\pmb w$。由于坐标映射是满射，那么必存在 $\pmb x\in V$ 使关于 $c_{1\sim m}$ 的向量方程 $\sum\limits_{i=1}^mc_i\pmb v_i=\pmb x$ 无解，即 $\pmb v_{1\sim m}$ 不生成 $V$。
综上可知，一个线性空间 $V$ 的所有基的向量个数都相等，因为小了会不生成 $V$，大了会线性相关。

另一方面，考察线性空间 $V$ 的一个基 $\mathcal B=\{\pmb b_{1\sim n}\}$ 以及 $V$ 中的一个向量组 $\pmb v_{1\sim n}$，又将它用 $\mathcal B$ 坐标表示出来。先假设 $\pmb v_{1\sim n}$ 线性无关，类似上面第一段的过程反着推可以得到 $[\pmb v_1]_{\mathcal B},[\pmb v_2]_{\mathcal B},\cdots,[\pmb v_n]_{\mathcal B}$ 线性无关。考察矩阵 $\begin{bmatrix}[\pmb v_1]_{\mathcal B}&[\pmb v_2]_{\mathcal B}&\cdots&[\pmb v_n]_{\mathcal B}\end{bmatrix}$，这是个方阵，各列线性无关等价于各列生成 $\R^n$，于是知道 $[\pmb v_1]_{\mathcal B},[\pmb v_2]_{\mathcal B},\cdots,[\pmb v_n]_{\mathcal B}$ 生成 $\R^n$。再通过上面第二段类似的方法可知 $\pmb v_{1\sim n}$ 生成 $V$。重新假设 $\pmb v_{1\sim n}$ 生成 $V$，类似地可以得到 $\pmb v_{1\sim n}$ 线性无关，只需要把之前的过程逆一下即可。于是结合上面的理论得到最终结论：$V$ 中一个向量组是基，当且仅当它是 $V$ 中的极大线性相关组，又当且仅当它是 $V$ 中的极小生成 $V$ 组。

若线性空间 $V$ 存在有限大小的基，则称任意一个基包含的向量个数称为 $V$ 的维数，记作 $\dim V$；否则称为无穷维线性空间，不做讨论。显然有 $\dim \R^n=n$，它有一个标准基 $\mathcal E=\{\pmb e_{1\sim n}\}$，对 $\pmb v\in V$ 有 $[\pmb v]_{\mathcal E}=\pmb v$。易证：对线性空间 $V$ 以及子空间 $W$ 有 $\dim W\leq \dim V$。
定义一个矩阵 $A$ 的秩 $\operatorname{rank}A=\dim\operatorname{Col}A$。

关于 $\operatorname{Nul}A,\operatorname{Col}A,\operatorname{Row}A$ 的一些讨论

对矩阵 $A$，$\operatorname{Nul}A$ 的一组基是好求的，只需要将 $A$ 行化简得到齐次矩阵方程 $A\pmb x=\pmb 0$ 的解集的参数向量形式，然后易证这些向量是线性无关的（注意到在每个向量中，该自由变量位置处是 $1$，在其他向量的该位置处都是 $0$），那么这些向量就是 $\operatorname{Nul}A$ 的一组基。于是 $\dim\operatorname{Nul}A$ 等于 $A$ 的非主元列个数。

定义 $A$ 的行空间 $\operatorname{Row}A=\operatorname{Col}A^{\mathrm T}$，但我们依然将行空间按行的转置来研究 instead of 观察转置的列。
易证：初等行变换不改变 $A$ 的各列的各种集合的线性相关性，但改变 $A$ 的列空间；初等行变换不改变 $A$ 的行空间，但改变 $A$ 的各行的各种集合的线性相关性。综上所述，初等行变换不改变 $\dim\operatorname{Col}A$ 和 $\dim\operatorname{Row}A$。
如此易证：$A$ 的主元列是 $\operatorname{Col}A$ 的一个基，但 $A$ 的其它行等价矩阵的主元列却不是；$A$ 的行等价阶梯型的非零行是 $\operatorname{Row}A$ 的一个基，但 $A$ 的这些行却不是。那么 $\dim\operatorname{Col}A$ 和 $\dim\operatorname{Row}A$ 都等于 $A$ 的主元个数、主元行个数、主元列个数，并且也有 $\operatorname{rank}A=\dim\operatorname{Row}A$。

因为 $\dim\operatorname{Nul}A$ 等于 $A$ 的非主元列个数，而 $\operatorname{rank}A$ 等于 $A$ 的主元列个数，我们得到 $\operatorname{rank}A+\dim\operatorname{Nul}A=n$！

对 $m\times n$ 矩阵 $A$ 必有 $\operatorname{rank}A\leq\min(m,n)$，若 $\operatorname{rank}A=m$ 则称为行满秩，若 $\operatorname{rank}A=n$ 则称为列满秩。对方阵显然行满秩等价于列满秩，则统称为满秩；对非方阵显然两者至多满足一个。
$A\pmb x=\pmb 0$ 仅有平凡解显然等价于 $\operatorname{Nul}A=\{\pmb 0\}$，此时 $\operatorname{rank}A=n-\dim\operatorname{Nul}A=n$。
$A$ 各列生成 $\R^m$ 显然当且仅当 $\dim \operatorname{Col}A=m$，即 $\operatorname{rank}A=m$。
于是知道：$m\times n$ 矩阵各列线性无关当且仅当列满秩，各列生成 $\R^m$ 当且仅当行满秩。

4.7——基的变换

对线性空间 $V$ 的两个基 $\mathcal B=\{\pmb b_{1\sim n}\},\mathcal C=\{\pmb c_{1\sim n}\}$，考虑对 $\pmb v\in V$ 将 $[\pmb v]_{\mathcal B}$ 转化为 $[\pmb v]_{\mathcal C}$。易证这是一个 $\R^n\to \R^n$ 的双射线性变换，它可以由标准矩阵给出。标准矩阵的第 $i$ 列应当是 $\pmb e_i$ 从 $\mathcal B$ 坐标转化到 $\mathcal C$ 坐标得到的向量，容易发现这就是 $[\pmb b_i]_{\mathcal C}$。于是得到这个线性变换的标准矩阵为 $\begin{bmatrix}[\pmb b_1]_{\mathcal C}&[\pmb b_2]_{\mathcal C}&\cdots&[\pmb b_n]_{\mathcal C}\end{bmatrix}$，记为 $P_{\mathcal B\to \mathcal C}$，有 $P_{\mathcal B\to\mathcal C}[\pmb v]_{\mathcal B}=[\pmb v]_{\mathcal C}$。线性变换 $T(\pmb v)=P_{\mathcal B\to\mathcal C}\pmb v$ 称为 $\mathcal B$ 到 $\mathcal C$ 的坐标变换，$P_{\mathcal B\to\mathcal C}$ 称为 $\mathcal B$ 到 $\mathcal C$ 的坐标变换矩阵。
易得 $P_{\mathcal B\to\mathcal C}$ 的可逆性，那么显然有 $P_{\mathcal C\to\mathcal B}=P_{\mathcal B\to\mathcal C}^{-1}$。

对线性空间 $\R^n$ 的一个基 $\mathcal B=\{\pmb b_{1\sim n}\}$ 以及自带的标准基 $\mathcal E=\{\pmb e_{1\sim n}\}$，显然有 $P_{\mathcal B\to\mathcal E}=\begin{bmatrix}\pmb b_1&\pmb b_2&\cdots&\pmb b_n\end{bmatrix}$，特殊记作 $P_{\mathcal B}$。那么对 $\pmb v\in \R^n$ 有 $[\pmb v]_{\mathcal B}=P_{\mathcal E\to\mathcal B}\pmb v=P_{\mathcal B}^{-1}\pmb v$，$P_{\mathcal B}^{-1}=\begin{bmatrix}[\pmb e_1]_{\mathcal B}&[\pmb e_2]_{\mathcal B}&\cdots&[\pmb e_n]_{\mathcal B}\end{bmatrix}$。

第 6 章——正交性和最小二乘法

6.1——内积、长度和正交性

引理：对 $\R^n$ 中任意一条直线 $L$，$\R^n\to\R$ 的变换 $T(\pmb v)=|\pmb v|\cos\langle\pmb v,L\rangle$（即到直线 $l$ 上的投影长度）是线性变换。
证明：注意到若 $L$ 是 $x_1$ 坐标轴，那么显然有 $T(\pmb v)=v_1$，线性性显然。对一般情况，考虑往特殊情况上引：显然存在旋转变换 $R$ 使得作用之后 $L$ 跟 $x_1$ 坐标轴重合，设旋转之后的 $T$ 为 $T'$，则 $T=T'\circ R$。根据变换 $T'$ 和 $R$ 的线性性可知 $T$ 是线性变换。

现在在 $\R^n$ 中定义二元内积，记为 $\pmb v\cdot \pmb w$，当 $\pmb v=\pmb w$ 时不规范地记为 $\pmb v^2$。
第一定义（代数定义）：$\pmb v\cdot\pmb w=\pmb v^{\mathrm T}\pmb w=\sum\limits_{i=1}^nv_iw_i$。
第二定义（几何定义）：$\pmb v\cdot \pmb w=|\pmb v||\pmb w|\cos\langle\pmb v,\pmb w\rangle$。这反映出内积的几何意义：$\pmb v$ 在 $\pmb w$ 上的投影乘上 $\pmb w$ 的长度 and vice versa。
两种定义的等价性证明：根据投影长度变换的线性性，显然第二定义关于 $\pmb w$ 有线性性，i.e. 对固定的 $\pmb v$，$T(\pmb w)=|\pmb v||\pmb w|\cos\langle\pmb v,\pmb w\rangle$ 是 $\R^n\to \R$ 的线性变换。易证 $T(\pmb e_i)=v_i$，于是 $T$ 的标准矩阵为 $\pmb v^{\mathrm T}$，那么 $T(\pmb w)=\pmb v^{\mathrm T}\pmb w$，得证。

根据两种定义都易证内积的交换律。结合交换律以及两种定义的等价性证明可知内积关于左元和右元均有线性性。内积的正定性：对 $\forall \pmb v\in \R^n$ 有 $\pmb v^2\geq 0$，且 $\pmb v^2=0$ 当且仅当 $\pmb v=\pmb0$。

通过欧式距离公式可知 $|\pmb v|=\sqrt{\sum\limits_{i=1}^nv_i^2}=\sqrt{\pmb v^2}$，可知 $\pmb v^2=|\pmb v|^2$。易证 $|c\pmb v|=|c||\pmb v|$。长度为 $1$ 的向量称为单位向量，任意向量 $\pmb v$ 都可以通过乘以长度的倒数得到与自己同方向的单位向量 $\dfrac{\pmb v}{|\pmb v|}$，这个操作称为 $\pmb v$ 的单位化。对任意 $\pmb v,\pmb w\in \R^n$，它们的欧氏距离为 $|\pmb v-\pmb w|=\sqrt{(\pmb v-\pmb w)^2}$。

对任意非零向量 $\pmb v,\pmb w\in \R^n$，由于 $|\pmb v|\neq 0,|\pmb w|\neq 0$，根据第二定义可知 $\pmb v\cdot\pmb w=0$ 当且仅当 $\langle\pmb v,\pmb w\rangle=\dfrac{\pi}2$，此时 $\pmb v\perp\pmb w$，在高维空间中称 $\pmb v,\pmb w$ 正交。将零向量加入，我们定义任意向量 $\pmb v,\pmb w\in \R^n$ 正交当且仅当 $\pmb v\cdot\pmb w=0$，可见 $\pmb 0$ 与任意向量正交。判定垂直（正交）的另一个定理是勾股定理：$\pmb v\perp\pmb w$ 当且仅当 $(\pmb v-\pmb w)^2=\pmb v^2+\pmb w^2$，分配律展开容易验证这与 $\pmb v\cdot\pmb w=0$ 的等价性。

6.2——正交集

对向量 $\pmb v,\pmb l\in \R^n$，$\pmb v$ 在 $\pmb l$ 上的投影长度为 $\dfrac{\pmb v\cdot\pmb l}{|\pmb l|}$，那么投影向量为这个长度乘以 $\pmb l$ 的单位向量：$\dfrac{\pmb v\cdot\pmb l}{|\pmb l|}\dfrac{\pmb l}{|\pmb l|}=\dfrac{\pmb v\cdot\pmb l}{\pmb l^2}\pmb l$，记为 $\operatorname{proj}_{\pmb l}\pmb v$，称为 $\pmb v$ 垂直于 $\pmb l$ 的分量。显然这个投影只跟 $\pmb l$ 所在直线 $L$ 有关，$\pmb v$ 垂直于 $L$ 上所有非零向量的分量都相等，也记为 $\operatorname{proj}_L\pmb v$。显然投影变换 $\operatorname{proj}_L$ 是 $\R^n\to \R^n$ 的线性变换，但是值域是一维的 $L$。

$\R^n$ 中的向量集合 $\{\pmb v_{1\sim m}\}$ 若满足其中任意两个向量都正交，则称为正交集。
非零正交集必然线性无关。证明：若 $\pmb w=\sum\limits_{i=1}^mc_i\pmb v_i=\pmb 0$，则 $\pmb w$ 垂直于各 $\pmb v_i$ 的分量都是 $\pmb 0$。而 $\operatorname{proj}_{\pmb v_i}\pmb w$ 只跟 $c_i\pmb v_i$ 项有关，因为将按线性性拆开后根据正交性显然对 $j\neq i$ 有 $\operatorname{proj}_{\pmb v_i}c_j\pmb v_j=\pmb 0$。所以 $\operatorname{proj}_{\pmb v_i}\pmb w=\operatorname{proj}_{\pmb v_i}c_i\pmb v_i=c_i\pmb v_i=\pmb 0$，得到 $c_i=0$。所以向量方程 $\pmb w=\pmb 0$ 仅有平凡解，得证。

$\R^n$ 子空间 $V$ 的正交基为是正交集的基。想要是基必须非零，而非零正交集自然线性无关，所以只要生成 $V$ 便是 $V$ 的基了。
对 $\pmb v\in V$，普通基下 $\pmb v$ 的坐标较为难求，需要解矩阵方程。而对正交基 $\mathcal B=\{\pmb b_{1\sim m}\}$，坐标 $[\pmb v]_{\mathcal B}$ 可以由一个简单的公式给出。根据非零正交集线性无关性证明中考虑在各 $\pmb b_i$ 上的投影的思路，有 $([\pmb v]_{\mathcal B})_i\pmb b_i=\operatorname{proj}_{\pmb b_i}\pmb v=\dfrac{\pmb v\cdot\pmb b_i}{\pmb b_i^2}\pmb b_i$，因为 $\pmb b_i\neq\pmb0$，所以 $([\pmb v]_{\mathcal B})_i=\dfrac{\pmb v\cdot\pmb b_i}{\pmb b_i^2}$。根据坐标的存在唯一性，这个公式给出的坐标就是该唯一坐标。

一个正交集如果仅由单位向量构成，则称为单位正交集。将某非零正交集单位化可以得到对应的单位正交集。类似定义单位正交基。
一个 $m\times n$ 矩阵 $A$（各列为 $\pmb a_{1\sim n}$）有单位正交列当且仅当 $A^{\mathrm T}A=I$。证明：将 $A^{\mathrm T}A$ 列行展开得到 $\begin{bmatrix}\pmb a_1^{\mathrm T}\\\pmb a_2^{\mathrm T}\\\vdots\\\pmb a_n^{\mathrm T}\end{bmatrix}\begin{bmatrix}\pmb a_1&\pmb a_2&\cdots&\pmb a_n\end{bmatrix}=I$，即 $\pmb a_i^2=1$，且对 $i\neq j$ 有 $\pmb a_i\cdot\pmb a_j=0$。这显然与 $A$ 有单位正交列等价。
考虑标准矩阵为 $A$ 的线性变换。对 $\pmb v,\pmb w\in \R^n$，$A\pmb v\cdot A\pmb w=(A\pmb v)^{\mathrm T}A\pmb w=\pmb v^{\mathrm T}\!\left(A^{\mathrm T}A\right)\pmb w=\pmb v\cdot\pmb w$，可见该线性变换不改变向量内积。那么可以推出该线性变换保持向量长度和夹角，即变换前后图形全等。
注意 $A^{\mathrm T}A=I$ 并不等价于 $AA^{\mathrm T}=I$。事实上当 $m\neq n$ 时，仅当 $m>n$ 时才可能发生 $A^{\mathrm T}A=I$。关于这个有两种解释：一种是要保持向量长度和夹角则不能降维打击；二是各列单位正交说明各列线性无关。
但是当 $m=n$ 时，$A^{\mathrm T}A=I$ 说明 $A^{-1}=A^{\mathrm T}$，此时确实有 $AA^{\mathrm T}=I$，也就是说 $A^{\mathrm T}$ 也有单位正交列，所以 $A$ 不仅有单位正交列还有单位正交行。此时根据 $A$ 的可逆性，$A$ 的各列、各行分别是 $\R^n$ 的单位正交基。这样的方阵 $A$ 称为正交矩阵，以它为标准矩阵的线性变换为正交变换。

6.3——正交投影、6.4——格拉姆-施密特方法

正交补

对 $\R^n$ 子空间 $V$，若 $\pmb v\in \R^n$ 与 $V$ 中所有向量正交，则称 $\pmb v$ 正交于 $V$，记作 $\pmb v\perp V$。定义全体正交于 $V$ 的向量集合为 $V$ 的正交补 $V^{\!\perp}$。
任取 $V$ 的一组正交基（存在性？下面格拉姆-施密特方法会予以证明）$\mathcal B=\{\pmb b_{1\sim m}\}$（其中 $m=\dim V$），将其扩展成 $\R^n$ 的一组正交基 $\mathcal D=\mathcal B\cup\mathcal C$ 其中 $\mathcal C=\{\pmb c_{1\sim n-m}\}$。对 $\pmb v\in \R^n$，将它用 $\mathcal D$ 线性表出，如果 $\pmb b_i$ 的权都是 $0$，跟据内积的线性性知道 $\pmb v\perp V$；如果存在 $\pmb b_i$ 的权非零，那么由线性表出式的 $\mathcal B$ 部分得到的 $\pmb w\in V$ 显然满足 $\pmb v\not\perp\pmb w$，所以 $\pmb v\not\perp V$。所以 $V^{\!\perp}$ 是线性空间，且等于 $\operatorname{Span}\mathcal C$。
跟据正交补定义的唯一性，知道 $V^{\!\perp}$ 是确定的，不依赖于 $\mathcal C$ 的选择。那么交换 $\mathcal B,\mathcal C$ 的地位易证 $\left(V^{\!\perp}\right)^{\!\perp}=V$。显然有 $\dim V+\dim V^{\!\perp}=n$。易证，若 $\R^n$ 子空间 $V$ 与 $W$ 的笛卡尔积中每对向量都正交，且 $\dim V+\dim W=n$，则 $V,W$ 互为正交补。

对 $m\times n$ 矩阵 $A$，$\operatorname{Row}A$ 与 $\operatorname{Nul}A$ 这两个 $\R^n$ 子空间互为正交补。证明：对 $\pmb x\in\operatorname{Nul}A$ 有 $A\pmb x=\pmb 0$，跟据列行展开有 $\mathrm{row}_i(A)\pmb x=0$，即每个行向量跟 $\pmb x$ 都正交，所以 $\pmb x\perp\operatorname{Row}A$。又因为 $\dim\operatorname{Row}A+\dim\operatorname{Nul}A=n$，所以它们互为正交补。
于是 $\operatorname{Col}A$ 与 $\operatorname{Nul}A^{\mathrm T}$ 也互为正交补。

向量在线性空间上的投影

（容易验证下面对向量在线性空间上投影的讨论与前面讲过的向量在向量、直线（一维线性空间）上的投影是兼容的）

对 $\R^n$ 的子空间 $V$ 以及向量 $\pmb v\in V$，考虑将 $\pmb v$ 分解为两个向量 $\pmb w_1,\pmb w_2$ 之和，其中 $\pmb w_1\in V$ 且 $\pmb w_2\perp V$（亦即 $\pmb w_2\in V^{\!\perp}$）。取 $V$ 的正交基 $\mathcal B$ 和 $V^{\!\perp}$ 的正交基 $\mathcal C$，自然有 $\mathcal B\cap\mathcal C=\varnothing$ 且 $\mathcal D=\mathcal B\cup\mathcal C$ 为 $\R^n$ 的正交基。将 $\pmb v$ 用 $\mathcal D$ 线性表出，那么表出式的 $\mathcal B$ 部分和 $\mathcal C$ 部分显然是 $\pmb w_1,\pmb w_2$ 的一组解。
事实上，$\pmb w_1,\pmb w_2$ 是唯一的。证明：假设有第二组解 $\pmb w_1',\pmb w_2'$，由于 $\pmb w_1+\pmb w_2=\pmb w_1'+\pmb w_2'$，所以 $\pmb w_1-\pmb w_1'=\pmb w_2'-\pmb w_2$。显然左边是 $V$ 中元素，右边是 $V^{\!\perp}$ 中元素，而它们相等，只能取 $V\cap V^{\!\perp}$ 中的唯一元素 $\pmb0$。所以这两组解是相同的，得证。

我们定义存在且唯一的使 $\pmb v-\pmb w\perp V$ 的 $\pmb w\in V$ 为 $\pmb v$ 在 $V$ 上的投影，记为 $\operatorname{proj}_V\pmb v$，而 $\pmb v-\operatorname{proj}_V\pmb v$ 为 $\pmb v$ 到 $V$ 上的垂向量。跟据上面的讨论以及向量被正交基线性表出公式，如果知道 $V$ 的一组正交基 $\mathcal B=\{\pmb b_{1\sim m}\}$，有 $\operatorname{proj}_V\pmb v=\sum\limits_{i=1}^m\operatorname{proj}_{\pmb b_i}\pmb v=\sum\limits_{i=1}^m\dfrac{\pmb v\cdot\pmb b_i}{\pmb b_i^2}\pmb b_i$，这是投影的计算公式。但是跟据定义的唯一性，投影的值并不依赖 $\mathcal B$ 的选取。容易发现若 $\pmb v\in V$ 则 $\operatorname{proj}_V\pmb v=\pmb v$。
$V$ 中所有向量中，$\operatorname{proj}_V\pmb v$ 严格离 $\pmb v$ 最近。在三维以下，这是显然的，其实就是垂线段最短，而在高维空间则需要证明。注意到 $\pmb v-\operatorname{proj}_V\pmb v\perp V$，任选 $\operatorname{proj}_V\pmb v\neq\pmb w\in V$，有 $\pmb v-\operatorname{proj}_V\pmb v\perp\operatorname{proj}_V\pmb v-\pmb w$，所以 $\pmb v,\pmb w,\operatorname{proj}_V\pmb v$ 三点构成直角三角形，根据勾股定理有 $(\pmb v-\operatorname{proj}_V\pmb v)^2+(\operatorname{proj}_V\pmb v-\pmb w)^2=(\pmb v-\pmb w)^2$。由于 $\operatorname{proj}_V\pmb v\neq \pmb w$，第二项是严格正的，所以 $|\pmb v-\operatorname{proj}_V\pmb v|<|\pmb v-\pmb w|$，得证。

如果 $\mathcal B=\{\pmb b_{1\sim m}\}$ 是 $V$ 的单位正交基，则投影公式可以简化：$\operatorname{proj}_V\pmb v=\sum\limits_{i=1}^m(\pmb v\cdot\pmb b_i)\pmb b_i$。将和式的每一项看成 $\pmb v$ 的线性变换，第一步是 $\pmb b_i^{\mathrm T}\pmb v\pmb b_i$。对数乘 $a\pmb v$ 有两种看法，如果看作 $\pmb v$ 的线性变换则为 $(aI)\pmb v$，如果看作 $a$ 的线性变换则为 $\pmb va$，这里把 $a$ 看作了 $1\times 1$ 矩阵。对 $\pmb b_i^{\mathrm T}\pmb v\pmb b_i$ 我们采用第二种看法，它等于 $\pmb b_i\pmb b_i^{\mathrm T}\pmb v$。那么由行列展开显然有 $\operatorname{proj}_V\pmb v=P_{\mathcal B}P_{\mathcal B}^{\mathrm T}\pmb v$，所以 $\operatorname{proj}_V$ 是线性变换，标准矩阵是 $P_{\mathcal B}P_{\mathcal B}^{\mathrm T}$。跟 $P_{\mathcal B}^{\mathrm T}P_{\mathcal B}=I$ 一样，它也是确定的，不依赖 $\mathcal B$ 的选择。

格拉姆-施密特方法

这是一个对 $\R^n$ 的子空间 $V$，通过一组普通基 $\mathcal B=\{\pmb b_{1\sim m}\}$ 构造一组正交基 $\mathcal C=\{\pmb c_{1\sim m}\}$ 的方法。

考虑归纳构造。对 $i\in [1,m]$，假设已经构造好了 $\pmb c_{1\sim i-1}$，它是 $\operatorname{Span}\{\pmb b_{1\sim i-1}\}$ 的一组正交基。那么令 $\pmb c_i=\pmb b_i-\operatorname{proj}_{\operatorname{Span}\{\pmb b_{1\sim i-1}\}}\pmb b_i$（已经构造出 $\operatorname{Span}\{\pmb b_{1\sim i-1}\}$ 的一组正交基，所以在这个子空间上的投影理论已经被证实），那么 $\{\pmb c_{1\sim i}\}$ 显然是正交集，它的大小 $i$ 就是 $\operatorname{Span}\{\pmb b_{1\sim i}\}$ 的维数，而作为正交集它自然线性无关，并且易证 $\pmb c_i$ 能被 $\pmb b_{1\sim i}$ 线性表出，所以它是 $\operatorname{Span}\{\pmb b_{1\sim i}\}$ 的正交基。
至此已经说明 $\R^n$ 的任意子空间都有正交基。

将正交基单位化即可得到单位正交基。

6.5——最小二乘问题

对某个无论相不相容的矩阵方程 $A\pmb x=\pmb b$（其中 $A$ 是 $m\times n$ 矩阵），我们希望求出 $A\pmb x$ 对 $\pmb b$ 的最佳近似，即求出使得对任意 $\pmb x\in \R^n$ 都有 $|A\pmb x_0-\pmb b|\leq |A\pmb x-\pmb b|$ 的所有 $\pmb x_0$。这被称为最小二乘问题，所有的 $\pmb x_0$ 都是最小二乘解。

显然 $A\pmb x=\pmb b$ 的最小二乘解就是 $A\pmb x=\operatorname{proj}_{\operatorname{Col}A}\pmb b$ 的解。跟据投影的定义，这等价于 $\pmb b-A\pmb x\perp\operatorname{Col}A$，即 $\pmb b-A\pmb x\in (\operatorname{Col}A)^{\perp}=\operatorname{Nul}A^{\mathrm T}$，即 $A^{\mathrm T}(\pmb b-A\pmb x)=\pmb 0$，即 $A^{\operatorname T}A\pmb x=A^{\mathrm T}\pmb b$。这个新矩阵方程的解就是 $A\pmb x=\pmb b$ 的最小二乘解，称为 $A\pmb x=\pmb b$ 的法方程。由于最小二乘问题一定有解，任意矩阵方程的法方程都相容。

对任意 $m\times n$ 矩阵 $A$，我们有结论 $\operatorname{rank}A^{\mathrm T}A=\operatorname{rank}A$。
随便胡个证明：一方面，若 $A\pmb x=\pmb 0$，则显然 $A^{\mathrm T}A\pmb x=\pmb 0$，所以 $\operatorname{Nul}A\subseteq\operatorname{Nul}A^{\mathrm T}A$；另一方面，若 $A^{\mathrm T}A\pmb x=\pmb 0$，则 $\pmb x^{\mathrm T}A^{\mathrm T}A\pmb x=\pmb 0_1$，即 $(A\pmb x)^2=0$，所以 $A\pmb x=\pmb 0$，所以 $\operatorname{Nul}A^{\mathrm T}A\subseteq \operatorname{Nul}A$。得到 $\operatorname{Nul}A^{\mathrm T}A=\operatorname{Nul}A$。又因为这两个矩阵的列数相同，原命题得证。

对法方程 $A^{\operatorname T}A\pmb x=A^{\mathrm T}\pmb b$，$A^{\operatorname T}A$ 是方阵，如果它满秩则可以用可逆矩阵移到右边去。而 $\operatorname{rank}A^{\mathrm T}A=\operatorname{rank}A$，所以 $A^{\mathrm T}A$ 满秩当且仅当 $A$ 各列线性无关，此时原矩阵方程 $A\pmb x=\pmb b$ 的最小二乘解是唯一的 $\pmb x=\left(A^{\mathrm T}A\right)^{-1}A^{\mathrm T}\pmb b$。

posted @ 2021-06-24 20:47 ycx060617 阅读(9) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部

ycx's blog

我的我要爆了！@_@