第三章：线性相关，矩阵的秩和宾纳-柯西定理

线性相关

对于 \(n\) 个向量 \(\bm{v}_1, \bm{v}_2, ......, \bm{v}_n\)，称它们线性相关，当且仅当存在 \(\text{不全为}\ 0\ \text{的}\ n\ \text{个数}c_1, c_2, ......, c_n\in \mathbb{R}, s.t.\sum_{i=1}^nc_i\bm{v}_i=\bm{0}\)。

称它们线性无关，如果它们不线性相关。

根据定义，我们可以得出：

• \(\bm{0}\) 和任何其他向量都线性相关。

• 两个向量 \(\bm v_1, \bm v_2\) 线性相关，当且仅当它们平行。

• 三维空间中的三个向量线性相关当且仅当它们共面。

• 一个矩阵行线性相关，则这个矩阵在经过初等行变换后行线性相关。

• \(\bm{v}_1, \bm{v}_2, ......, \bm{v}_n\) 线性相关的充要条件是 \(\det(\bm{v}_1, \bm{v}_2, ......, \bm{v}_n)^T=0\)。

第四点的证明

• 对换：对换两行显然不影响是否线性相关。
• 数乘：如果第 \(i\) 行乘上 \(k\)，则只需要让 \(c_i\) 除以 \(k\) 就能保证它们的和依然为 \(\bm 0\)
• 倍加：如果第 \(i\) 行加上 \(k\) 倍的第 \(j\) 行，则只需要让 \(c_j\) 减去 \(k\times c_i\) 即可。

第五点的证明
记 \(A=(\bm{v}_1^T, \bm{v}_2^T, ......, \bm{v}_n^T)\)。

• 充分性：如果它们线性相关，根据定义，可以使用初等行变换使得 \(A\) 中有一个全 \(0\) 行，设此时的矩阵为 \(A'\)，那么 \(\det(A')=0\)。因为初等行变换只会让行列式乘上某个非 \(0\) 值，所以 \(\det(A')=0\) 的唯一可能就是 \(\det(A)=0\)。

• 必要性：回忆行列式计算方式，考虑将矩阵消为上三角矩阵。行列式等于 \(0\) 说明上三角矩阵存在全 \(0\) 行，所以上三角矩阵行线性相关。根据第三点，原矩阵行线性相关。

矩阵的秩

对于 \(m\times n\) 的矩阵 \(A\)，设 \(k\leq n, k\leq m\)，任取 \(S_1, S_2\subseteq[\min(n, m)]，|S_1|=|S_2|=k\)，称 \(\det(A_{S_1, S_2})\) 是矩阵 \(A\) 的 \(k\) 阶子式。

定义矩阵 \(A\) 的秩（记作 \(R(A)\)）是满足如下条件的一个最大的自然数 \(r\)：

• 存在一个不为 \(0\) 的 \(r\) 阶子式。
• \(r\leq n, r\leq m\)

特别的，零矩阵的秩是 \(0\)。

根据定义，可以得出 \(\det(A)\ne 0\) 的充要条件是 \(R(A)=n\)。

第二定义: \(R(A)\) 被定义为最大的 \(r\) 使得存在 \(r\) 个行向量，它们线性无关。

为了证明这两个定义的等价性，不妨设按照矩阵的秩按照原始定义是 \(r_1\)，按照第二定义是 \(r_2\)，只需要证明 \(r_1=r_2\)。

让我们先证明这件事对 行阶梯形矩阵成立。显然，对于行阶梯性矩阵，\(r_1=r_2=\) 矩阵非零行数量，这是因为取这些非零行，它们一定线性无关。选取这些非零行中包含主元的列，子式行列式一定非零。而选取全零行必然的结果是线性相关/行列式为 \(0\)。

接下来需要证明行初等变换不影响 \(r_1\) 和 \(r_2\)。显然，对换两行和某行做数乘并不会影响。我们只需考虑倍加变换:

• 设第 \(i\) 行加上了 \(k\) 倍的第 \(j\) 行。对于 \(r_1\)，如果变换前，\(r_1\) 阶子式不包含第 \(i\) 行，那么无影响。如果同时包含第 \(i\) 行和第 \(j\) 行，那么根据倍加变换行列式不变性，行列式不变。
  如果子式只包含第 \(i\) 行，并且子式从 \(D\ne 0\) 变为 \(0\)，可以断言该子式去掉第 \(i\) 行加上第 \(j\) 行后的值是 \(-\dfrac{1}{k}D\ne 0\)。所以 \(r_1\) 不会变小。

根据初等行变换可逆性，可以断言 \(r_1\) 不会变大，故 \(r_1\) 不变。

• 对于 \(r_2\)。设 \(S=\{\bm v_1, ......, \bm v_{r_2}\}\) 是一个极大线性无关组。不妨设 \(\bm v_i\in S, \bm v_j\notin S\)。根据极大性，\(\bm v_j\) 一定能够被 \(S\) 中的元素线性表示。根据定义，\(\bm v_i\) 无法被 \(S/\{\bm v_i\}\) 中的元素线性表示，所以 \(\bm v_i+k\bm v_j\) 一定可以被 \(S\) 中的元素唯一的表示。如果它无法被 \(S/\{\bm v_i\}\) 表示，那么它依然线性无关，否则，必须有 \(\bm v_j\) 无法被 \(S/\{\bm v_i\}\) 表示。此时，取 \((S/\{\bm v_i\})\cap\{\bm v_j\}\) 即为符合要求的线性无关组。

根据原始定义，有 \(R(A)=R(A^T)\)，所以事实上，第二定义也可以记作：

\(R(A)\) 被定义为最大的 \(r\) 使得存在 \(r\) 个列向量，它们线性无关。

相当于：行秩等于列秩。

矩阵的秩计算方法：考虑初等行变换不会影响矩阵的秩，只需要将矩阵变为行阶梯形，那么 \(R(A)=\) 非零行数。

一些性质

• \(R(A)=R(A^T)\)
• \(R(A)=R(kA)(k\ne 0)\)
• \(R(A)\) 小于行数和列数
• 如果 \(R(A)=\) 行数，则称他行满秩，同样定义列满秩。如果一个矩阵行列均满秩（它必须是方阵），则称它是满秩矩阵。
  对于满秩矩阵 \(A\)， \(\det(A)\ne 0\)。
• 乘积秩不等式: \(R(AB)\leq \min(R(A), R(B))\)
  证明：设 \(B=(\bm v_1, \bm v_2, ......, \bm v_n)， AB=(\bm v'_1, \bm v'_2, ......, \bm v'_n)\) 因为 \(\bm v'_i\) 能够被 \(\bm v_1, \bm v_2, ......, \bm v_n\) 线性表示出（矩阵乘法的定义）。所以 \(R(AB)<R(B)\)。同理 \(R(AB)<R(A)\)
• 加法秩不等式: \(R(A+B)\leq \min(R(A), R(B))\)
  证明：设 \(A=(\bm v_1, \bm v_2, ......, \bm v_n)， B=(\bm r_1, \bm r_2, ......, \bm r_n)\) 取 \(A\) 中 \(R(A)\) 个线性无关的向量和 \(B\) 中 \(R(B)\) 个线性无关的向量。这 \(R(A)+R(B)\) 个向量能表示出 \(A+B\) 中的所有向量，故 \(R(A+B)\leq R(A)+R(B)\)。

宾纳-柯西定理

设 \(A\) 是 \(m\times n\) 的矩阵，\(B\) 是 \(n\times m\) 的矩阵，则有：\(\det(AB)=\underset{S\in [n], |S|=m}{\sum}\det(A_{[m],S})\det(B_{S,[m]})\)。

证明：当 \(m>n\) 时，右式为 \(0\)，\(R(AB)\leq \min(R(A), R(B))\leq \min(n, m)<m\)，故 \(R(AB)<m\)，所以 \(AB\) 不是满秩矩阵，故 \(\det(AB)=0\)。

当 \(m\leq n\) 时，\((AB)_{ij}=\sum_{k=1}^na_{ik}b_{kj}\)，考虑利用行列式的可拆分性，可以将每一行的求和分别拆开，得到 \(\det(AB)=\underset{k_1, k_2, ..., k_m\in [n]}{\sum}\det(P_{k_1, k_2, ..., k_m})\)，其中 \((P_{k_1, k_2, ..., k_m})_{ij}=a_{ik_i}b_{k_ij}\)。考虑如果存在 \(i\ne j,k_i=k_j\) 那么行列式值是 \(0\)。于是原式等于 \(\underset{S\in [n], |S|=m}{\sum}\underset{k_1, k_2, ..., k_m\in S\text{且互不相同}}{\sum}\det(P_{k_1, k_2, ..., k_m})\)。

现在我们只需要证明 \(\underset{k_1, k_2, ..., k_m\in S\text{且互不相同}}{\sum}\det(P_{k_1, k_2, ..., k_m})=\det(A_{[m],S})\det(B_{S,[m]})\)。

只需注意到 \(\det(P_{k_1, k_2, ..., k_m})=\det(B_{[m],S})\prod_{i=1}^ma_{ik_i}\)，于是只需要证明 \(\underset{k_1, k_2, ..., k_m\in S\text{且互不相同}}{\sum}\prod_{i=1}^ma_{ik_i}=\det(A_{[m],S})\)。根据行列式的定义，这是显然的。

宾纳-柯西定理的一个直接推论是 \(\det(AB)=\det(A)\det(B)\)。