详细介绍：线性代数 | Graphic Notes on “Linear Algebra for Everyone”

注：本文为 “The Art of Linear Algebra 重排版” 。
英文引文，机翻未校。
如有内容异常，请看原文。

---

The Art of Linear Algebra

Graphic Notes on “Linear Algebra for Everyone”

Kenji Hiranabe *
with the kindest help of Gilbert Strang †
translator: Kefang Liu ‡

September 1, 2021/updated August 19, 2023

线性代数的艺术

摘要

我尝试为吉尔伯特·斯特朗（Gilbert Strang）在《人人都懂线性代数》（“Linear Algebra for Everyone”）一书中介绍的矩阵重要概念进行可视化图解，以促进从矩阵分解的角度对向量、矩阵计算和算法的理解。这些概念包括矩阵分解（列 - 行分解，Column - Row, CR）、高斯消去法（Gaussian Elimination, LU）、格拉姆 - 施密特正交化（Gram - Schmidt Orthogonalization, QR）、特征值与对角化（Eigenvalues and Diagonalization,$Q\Lambda Q^T$）以及奇异值分解（Singular Value Decomposition,$U\Sigma V^T$）。

序言

我很高兴能看到 Kenji Hiranabe 关于线性代数中矩阵运算的图解！这样的图解是展示代数的绝佳方式。我们固然可以通过行 · 列的点乘来理解矩阵乘法，但这绝非全部——矩阵乘法是由“线性组合”与“秩 1 矩阵”共同构成的代数与艺术。我很感激能看到这本书的日文翻译版本以及 Kenji Hiranabe 图解中所蕴含的思想。

——吉尔伯特·斯特朗（Gilbert Strang）
麻省理工学院数学教授

• twitter:@hiranabe, k-hiranabe@esm.co.jp,https://anagileway.com
  † Massachusetts Institute of Technology,http://www-math.mit.edu/~gs/
  ‡ twitter:@kfcliu, 微博用户: 5717297833
  “Linear Algebra for Everyone”:http://math.mit.edu/everyone/

1 理解矩阵——4 个视角

一个矩阵可以被视为 1 个矩阵、$m\times n$ 个元素、$n$ 个列向量和 $m$ 个行向量。

图 1：从四个角度理解矩阵
在这里，列向量被标记为粗体$a_j$；行向量则有一个$\ast$ 号，标记为 $a_i^{\ast }$；转置向量和矩阵则用$T$ 标记为 $a_j^T$ 和 $A^T$。

2 向量乘以向量——2 个视角

在后文中，我将介绍一些概念，同时列出《人人都懂线性代数》（“Linear Algebra for Everyone”）一书中的相应部分（部分编号插入如下）。详细内容建议参考原书，此处我也添加了简短解释，以便您能通过本文尽可能多地理解相关知识。此外，每个图都有一个简短名称，例如$v1$（数字 1 表示向量的乘积）、$Mv1$（数字 1 表示矩阵和向量的乘积），以及如下图（$v1$）所示的彩色圆圈。随着讨论的推进，会对该名称进行交叉引用。

• 1.1 节（p.2）线性组合与点积（Linear combination and dot products）
• 1.3 节（p.25）秩 1 矩阵（Matrix of Rank One）
• 1.4 节（p. 29）行视角与列视角（Row way and column way）

图 2：向量乘以向量 -（$v1$），（$v2$）
（$v1$）是两个向量之间的基础运算，即向量内积；而（$v2$）是将列向量乘以行向量，从而产生一个秩 1 矩阵。
理解（$v2$）的结果（秩 1 矩阵）是后续章节的关键。

3 矩阵乘以向量——2 个视角

一个矩阵乘以一个向量，会产生由三个点积组成的向量（$Mv1$），同时也是矩阵列向量的一种线性组合（$Mv2$）。

• 1.1 节（p. 3）线性组合（Linear combinations）
• 1.3 节（p. 21）矩阵与列空间（Matrices and Column Spaces）

图 3：矩阵乘以向量 -（$Mv1$），（$Mv2$）
通常，人们会先学习（$Mv1$）此种矩阵乘向量的视角。但当你习惯从（$Mv2$）的视角看待矩阵乘向量时，会理解到$Ax$ 是矩阵 $A$列向量的线性组合。矩阵$A$的列向量的所有线性组合生成的子空间记为$C(A)$（列空间），$Ax=0$的解空间则是零空间，记为$N(A)$。

同理，由（$vM1$）和（$vM2$）可知，行向量乘以矩阵也可以用类似的方式理解。

图 4：向量乘以矩阵 -（$vM1$），（$vM2$）
上图中，矩阵$A$的行向量的所有线性组合生成的子空间记为$C(A^T)$（行空间），$y^{T}A=0$ 的解空间是 $A$的左零空间，记为$N(A^T)$。

• Row Vector Multiplication with Matrix$A$
  矩阵 $A$的行向量乘法

  A row vector$y$is multiplied by the two column vectors of$A$and become the two dot-product elements of$yA$.
  行向量 $y$ 与矩阵 $A$的两个列向量相乘，成为$yA$的两个点积元素。

  $$yA=\left[\begin{array}{ccc}{y}_1& y_2& y_3\end{array}\right]\left[\begin{array}{cc}1& 2\\ 3& 4\\ 5& 6\end{array}\right]=\left[\begin{array}{cc}(y_1+3y_2+5y_3)& (2y_1+4y_2+6y_3)\end{array}\right]$$

  行向量 $y$ 与矩阵 $A$相乘，结果是一个新行向量，它由$y$ 与 $A$的每个列向量的点积形成。

• Linear Combination of Row Vectors of Matrix$A$
  矩阵 $A$的行向量的线性组合

  The product$yA$is a linear combination of the row vectors of$A$.
  乘积 $yA$ 是矩阵 $A$行向量的线性组合。

  $$yA=\left[\begin{array}{ccc}{y}_1& y_2& y_3\end{array}\right]\left[\begin{array}{cc}1& 2\\ 3& 4\\ 5& 6\end{array}\right]=y_1\left[\begin{array}{cc}1& 2\end{array}\right]+y_2\left[\begin{array}{cc}3& 4\end{array}\right]+y_3\left[\begin{array}{cc}5& 6\end{array}\right]$$

  行向量 $y$ 与矩阵 $A$的乘积得到的新向量是$A$的行向量的线性组合。

本书的一大亮点是介绍了四个基本子空间：在${\mathbb{R}}^n$ 上的 $C(A)$（列空间）和$N(A^T)$（左零空间）（相互正交），以及在${\mathbb{R}}^m$ 上的 $C(A^T)$（行空间）和$N(A)$（零空间）（相互正交）。

• 3.5 节（p. 124）四个子空间的维数（Dimensions of the Four Subspaces）

图 5：四个子空间
关于秩 $r$，请见（6.1 节）$A=CR$ 分解。

4 矩阵乘以矩阵——4 个视角

由“矩阵乘以向量”可自然延伸到“矩阵乘以矩阵”。

• 1.4 节（p. 35）矩阵乘法的四种方式（Four ways to multiply）
• 也可参考原书封底

图 6：矩阵乘以矩阵 -（$MM1$），（$MM2$），（$MM3$），（$MM4$）

第一种方式（按元素计算）：

Every element becomes a dot product of row vector and column vector.
每个元素都变成行向量和列向量的点积。

$$\left[\begin{array}{cc}1& 2\\ 3& 4\\ 5& 6\end{array}\right]\left[\begin{array}{cc}{x}_1& y_1\\ x_2& y_2\end{array}\right]=\left[\begin{array}{cc}(x_1+2x_2)& (y_1+2y_2)\\ (3x_1+4x_2)& (3y_1+4y_2)\\ (5x_1+6x_2)& (5y_1+6y_2)\end{array}\right]$$

第二种方式（按列组合）：

$Ax$ and $Ay$are linear combinations of columns of$A$.
$Ax$ 和 $Ay$ 是矩阵 $A$列向量的线性组合。

$$\left[\begin{array}{cc}1& 2\\ 3& 4\\ 5& 6\end{array}\right]\left[\begin{array}{cc}{x}_1& y_1\\ x_2& y_2\end{array}\right]=A\left[\begin{array}{cc}x& y\end{array}\right]=\left[\begin{array}{cc}Ax& Ay\end{array}\right]$$

第三种方式（按行组合）：
The produced rows are linear combinations of rows.
行的线性组合。就是产生的行

$$\left[\begin{array}{cc}1& 2\\ 3& 4\\ 5& 6\end{array}\right]\left[\begin{array}{cc}{x}_1& y_1\\ x_2& y_2\end{array}\right]=\left[\begin{array}{c}{a}_1^{\ast }\\ a_2^{\ast }\\ a_3^{\ast }\end{array}\right]X=\left[\begin{array}{c}{a}_1^{\ast }X\\ a_2^{\ast }X\\ a_3^{\ast }X\end{array}\right]$$
其中，$a_i^{\ast }X$ 是矩阵 $X$行向量的线性组合。

第四种方式（秩 1 矩阵求和）：
Matrix Multiplication as a Sum of Rank 1 Matrices.
矩阵乘法可分解为若干个秩 1 矩阵之和，即$AB={\sum }_{k=1}^n{a}_k{b}_k^{\ast }$，其中 $a_k$ 是矩阵 $A$ 的第 $k$ 列，$b_k^{\ast }$ 是矩阵 $B$ 的第 $k$ 行。

Matrix multiplication$AB$is broken down to a sum of rank 1 matrices.
矩阵乘法 $AB$被分解为秩为 1 的矩阵之和。

$$\begin{array}{rlrl}\left[\begin{array}{cc}1& 2\\ 3& 4\\ 5& 6\end{array}\right]\left[\begin{array}{cc}{b}_{11}& b_{12}\\ b_{21}& b_{22}\end{array}\right]& =\left[\begin{array}{cc}{a}_1& a_2\end{array}\right]\left[\begin{array}{c}{b}_1^{\ast }\\ b_2^{\ast }\end{array}\right]& =& a_1{b}_1^{\ast }+a_2{b}_2^{\ast }\\ & =\left[\begin{array}{c}1\\ 3\end{array}\right]\left[\begin{array}{cc}{b}_{11}& b_{12}\end{array}\right]+\left[\begin{array}{c}2\\ 4\end{array}\right]\left[\begin{array}{cc}{b}_{21}& b_{22}\end{array}\right]& =& \left[\begin{array}{cc}{b}_{11}& b_{12}\\ 3b_{11}& 3b_{12}\\ 5b_{11}& 5b_{12}\end{array}\right]+\left[\begin{array}{cc}2b_{21}& 2b_{22}\\ 4b_{21}& 4b_{22}\\ 6b_{21}& 6b_{22}\end{array}\right]\end{array}$$

5 实用模式

在这里，我将展示一些实用模式，帮助你更直观地理解后续内容。

图 7：图 1，2 -（$P1$），（$P2$）

• Matrix Operations: Right and Left Multiplications
  矩阵运算：右乘和左乘

  $P1$ 是（$MM2$）（矩阵乘矩阵的列组合方式）和（$Mv2$）（矩阵乘向量的列组合方式）的结合。

  Operations from the right act on the columns of the matrix. This expression can be seen as the three linear combinations in the right in one formula.
  通过右侧操控作用于矩阵的列。该表达式能够看作是一个公式中的三个线性组合。

  $P2$ 是（$MM3$）（矩阵乘矩阵的行组合方式）和（$vM2$）（向量乘矩阵的行组合方式）的扩展。

  Operations from the left act on the rows of the matrix. This expression can be seen as the three linear combinations in the right in one formula.
  左侧操作作用于矩阵的行。这个表达式可以看作是一个公式中的三个线性组合。

需要注意的是，$P1$对应列运算（右乘一个矩阵），而$P2$对应行运算（左乘一个矩阵）。

图 8：图 1′，2′ -（$P{1}^{\prime }$），（$P{2}^{\prime }$）

• Applying Diagonal Matrices
  对角矩阵的应用

  （$P{1}^{\prime }$）是将对角矩阵$D$的对角线上的数分别乘以矩阵$X$的列向量，即$XD$ 的第 $j$ 列是 $d_j{x}_j$；

  Applying a diagonal matrix from the right scales each column.
  从右侧应用对角矩阵会缩放每一列。

  （$P{2}^{\prime }$）是将对角矩阵$D$的对角线上的数分别乘以矩阵$X$的行向量，即$DX$ 的第 $i$ 行是 $d_i{x}_i^{\ast }$。

  Applying a diagonal matrix from the left scales each row.
  从左侧应用对角矩阵会缩放每一行。

（就是二者分别$P1$）和（$P2$）的变体。

图 9：图 3 -（$P3$）

• Column Combinations in Differential/Recurrence Equations
  微分/递归方程中的列组合

  This pattern makes another combination of columns. You will encounter this in differential/recurrence equations.
  这种模式构成了另一组列的组合。你将在微分/递归方程中遇到这种情况。

  $$XDC=\left[\begin{array}{ccc}{x}_1& x_2& x_3\end{array}\right]\left[\begin{array}{ccc}{d}_1& & \\ & d_2& \\ & & d_3\end{array}\right]\left[\begin{array}{c}{c}_1\\ c_2\\ c_3\end{array}\right]=c_1{d}_1{x}_1+c_2{d}_2{x}_2+c_3{d}_3{x}_3$$
  该模式在求解微分方程和递归方程时也会出现：

• 6 节（p. 201）特征值与特征向量（Eigenvalues and Eigenvectors）

• 6.4 节（p. 243）微分方程组（Systems of Differential Equations）

  解微分方程和差分方程

  考虑以下微分方程和差分方程：

  微分方程
  $$\frac{du(t)}{dt}=Au(t),u(0)=u_0$$

  差分方程
  $$u_{n+1}=A{u}_n,u_0=u_0$$

  初始值的表示
  $$u_0=c_1{x}_1+c_2{x}_2+c_3{x}_3$$

  系数向量 $c$行通过以下方式计算：
  $$c=\left[\begin{array}{c}{c}_1\\ c_2\\ c_3\end{array}\right]=X^{-1}{u}_0$$

  通解

  对于微分方程，通解为：
  $$u(t)=e^{At}{u}_0=X{e}^{\Lambda t}{X}^{-1}{u}_0=X{e}^{\Lambda t}c=c_1{e}^{{\lambda }_{1}t}{x}_1+c_2{e}^{{\lambda }_{2}t}{x}_2+c_3{e}^{{\lambda }_{3}t}{x}_3$$

  对于差分方程，通解为：
  $$u_n=A^n{u}_0=X{\Lambda }^n{X}^{-1}{u}_0=X{\Lambda }^{n}c=c_1{\lambda }_1^n{x}_1+c_2{\lambda }_2^n{x}_2+c_3{\lambda }_3^n{x}_3$$

  见图 9：通过步骤 P3 可以得到$XDc$。

  对于这两种疑问，它们的解都可以用矩阵$A$ 的特征值 $({\lambda }_1,{\lambda }_2,{\lambda }_3)$、特征向量 $X=[x_1{x}_2{x}_3]$ 和系数向量 $c={\left[\begin{array}{ccc}{c}_1& c_2& c_3\end{array}\right]}^T$来表示。其中，$c$ 是以 $X$为基底的初始值$u(0)=u_0$ 的坐标。

  以上两个问题的通解基于初始条件$u_0=c_1{x}_1+c_2{x}_2+c_3{x}_3$，通过 $P3$模式可推导出后续的解表达式。

图 10：模式 4 -（$P_4$）
$P_4$在特征值分解和奇异值分解中都会用到。这两种分解都可以表示为三个矩阵的乘积，且中间的矩阵均为对角矩阵，同时也都能表示为带有特征值/奇异值系数的秩 1 矩阵之和。更多细节将在下一节中展开讨论。

• Singular Value/Eigenvalue Decomposition
  奇异值/特征值分解

  A matrix is broken down to a sum of rank 1 matrices, as in singular value/eigenvalue decomposition.
  矩阵被分解为秩为 1 的矩阵之和，如奇异值/特征值分解。

  $$U\Sigma V^T=[u_1{u}_2{u}_3]\left[\begin{array}{ccc}{\sigma }_1& & \\ & {\sigma }_2& \\ & & {\sigma }_3\end{array}\right]\left[\begin{array}{c}{v}_1^T\\ v_2^T\\ v_3^T\end{array}\right]={\sigma }_1{u}_1{v}_1^T+{\sigma }_2{u}_2{v}_2^T+{\sigma }_3{u}_3{v}_3^T$$

  其中 $U$ 和 $V$是正交矩阵，$\Sigma$是包含奇异值${\sigma }_1,{\sigma }_2,{\sigma }_3$的对角矩阵。原始矩阵被表示为秩 1 矩阵之和，每个矩阵都乘以其对应的奇异值。

  一种将原始矩阵就是奇异值分解$A$分解为一系列更简单矩阵乘积的办法。

  原始矩阵 $A$可以通过这三个矩阵的乘积来重构：

  $$A=U\Sigma V^T$$

  这种分解不仅适用于方阵，也适用于非方阵。分解的结果由三个部分组成：

  1. $U$（左奇异向量矩阵）： $m\times m$的正交矩阵，其列向量称为左奇异向量。这些向量是原始矩阵$A$的行空间的正交基。

  2. $\Sigma$（奇异值对角矩阵）： $m\times n$的对角矩阵，对角线上的元素是非负的奇异值，通常按从大到小的顺序排列。奇异值表示原始矩阵$A$在对应奇异向量方向上的“拉伸”或“压缩”程度。

  3. $V^T$（右奇异向量矩阵的转置）： $n\times n$的正交矩阵，其行向量称为右奇异向量。这些向量是原始矩阵$A$的列空间的正交基。

6 矩阵的 5 种分解

• 前言第 vii 页，本书大纲（The Plan for the Book）：将依次对$A=CR$（列 - 行分解）、$A=LU$（高斯消去分解）、$A=QR$（正交三角分解）、$S=Q\Lambda Q^T$（对称矩阵特征值分解）、$A=U\Sigma V^T$（奇异值分解）进行说明。

分解类型说明

分解类型	说明
$A=CR$（列-行分解）	$C$ 为矩阵 $A$的线性无关列向量构成的矩阵，$R$ 为矩阵 $A$的行阶梯形矩阵（消除零行），可由此推知列秩 = 行秩
$A=LU$（高斯消去分解）	通过高斯消去法将矩阵$A$分解为下三角矩阵$L$（Lower Triangular Matrix）和上三角矩阵$U$（Upper Triangular Matrix）的乘积
$A=QR$（正交三角分解）	基于格拉姆-施密特正交化，将矩阵$A$分解为正交矩阵$Q$（Orthogonal Matrix）和上三角矩阵$R$（Upper Triangular Matrix）的乘积
$S=Q\Lambda Q^T$（对称矩阵特征值分解）	对称矩阵 $S$（$S=S^T$）可分解为正交矩阵$Q$（由特征向量构成）、对角矩阵$\Lambda$（由特征值构成）与$Q$ 的转置矩阵 $Q^T$ 的乘积
$A=U\Sigma V^T$（奇异值分解）	所有矩阵 $A$都可进行奇异值分解，其中$U$（左奇异向量构成）和$V$（右奇异向量构成）为正交矩阵，$\Sigma$（由奇异值构成）为对角矩阵

6.1 $A=CR$（列 - 行分解）

• 1.4 节 矩阵乘法与$A=CR$分解（Matrix Multiplication and$A=CR$）（p. 29）

  所有一般的长矩阵$A$（$m\times n$ 矩阵，$m\ne n$）都具有相同的行秩和列秩，$A=CR$理解这一定理最直观的方法。其中，就是分解$C$ 由 $A$的线性无关列向量构成，$R$ 为 $A$的行阶梯形矩阵（已消除零行）。该分解本质是将矩阵$A$化简为其线性无关列向量构成的矩阵$C$和线性无关行向量构成的矩阵$R$ 的乘积。

  $$\begin{array}{rl}A& =CR\\ & \\ \left[\begin{array}{ccc}1& 2& 3\\ 2& 3& 5\end{array}\right]& =\left[\begin{array}{cc}1& 2\\ 2& 3\end{array}\right]\left[\begin{array}{ccc}1& 0& 1\\ 0& 1& 1\end{array}\right]\end{array}$$
  推导过程：从左至右观察矩阵$A$的列向量，保留其中线性无关的列向量，去掉可由前面保留的列向量线性表出的列向量。例如，若矩阵$A$的第 1、2 列线性无关，第 3 列可由前两列之和表示，则保留第 1、2 列构成$C$；若要通过 $C$ 重新构造出 $A$，则需要右乘一个行阶梯矩阵$R$。

  

  图 11：矩阵 $A$ 中列的秩
  此时可发现，矩阵$A$的列秩为 2，因为$C$中仅包含 2 个线性无关的列向量，且$A$中所有的列向量都可由$C$中的这 2 个列向量线性表出。

  

  图 12：矩阵 $A$ 中行的秩
  同理，矩阵 $A$的行秩也为 2，因为$R$中仅包含 2 个线性无关的行向量，且$A$中所有的行向量都可由$R$中的这 2 个行向量线性表出。

6.2 $A=LU$（高斯消去分解）

用高斯消除法求解线性方程组$Ax=b$的过程，本质上就是对矩阵$A$ 进行 $LU$分解。通常，$LU$分解是通过对矩阵$A$左乘一系列初等行变换矩阵$E$，将其转化为上三角矩阵$U$，即 $EA=U$，进而可得 $A=E^{-1}U$，令 $L=E^{-1}$（$L$为下三角矩阵），则$A=LU$。

$$\begin{array}{rl}EA& =U\\ A& =E^{-1}U\\ \text{let}L=E^{-1},A& =LU\end{array}$$

现在, 求解$Ax=b$有 2 步: (1) 求解$Lc=b$, (2) 代回$Ux=c$.

• 2.3 节（p. 57）矩阵计算与$A=LU$分解（Matrix Computations and$A=LU$）

在这里，我们直接通过$A$ 计算 $L$ 和 $U$：

图 13：矩阵 $A$的递归秩 1 矩阵分离
要计算 $L$ 和 $U$，首先分离出由矩阵$A$ 的第一行 $u_1^{\ast }$ 和第一列 $l_1$ 组成的外积 $l_1{u}_1^{\ast }$，余下的部分记为$A_2$；然后对 $A_2$递归执行此操作，最终将矩阵$A$分解为若干个秩 1 矩阵之和，进而得到$L$ 和 $U$。

• 分离：
  每次只拆分当前矩阵的“首列首行”，留下右下角剩余子块。

• 递归
  用同一分离规则拆分剩余部分，重复操作直到剩余子块为零。

• 步骤

  第 1 次分离：由$A$的“首列分块${\mathbf{l}}_1$”和“首行分块${\mathbf{u}}_1^{\ast }$”相乘得到的“秩 1 分块矩阵”（${\mathbf{l}}_1{\mathbf{u}}_1^{\ast }$）；
  $A\to {\mathbf{l}}_1{\mathbf{u}}_1^{\ast }+A_2$；

  第 2 次分离：不再处理第一步已拆分的${\mathbf{l}}_1{\mathbf{u}}_1^{\ast }$，而是针对除${\mathbf{l}}_1{\mathbf{u}}_1^{\ast }$的“右下角子块$A_2$”，再次进行“分离”——将$A_2$ 拆成${\mathbf{l}}_2{\mathbf{u}}_2^{\ast }$，以及新的子块$A_3$。
  $A_2\to {\mathbf{l}}_2{\mathbf{u}}_2^{\ast }+A_3$，代入第一步得$A\to {\mathbf{l}}_1{\mathbf{u}}_1^{\ast }+{\mathbf{l}}_2{\mathbf{u}}_2^{\ast }+A_3$；
  ……
  直到第 $r$次分离：剩余子块为零矩阵（即$A_{k+1}=0$），当剩余子块不再包含有效信息（秩为 0）时，停止拆分，此时所有非零信息已被完全分解到${\mathbf{l}}_k{\mathbf{u}}_k^{\ast }$ 项中，得到 $r$个非零分块项${\mathbf{l}}_1{\mathbf{u}}_1^{\ast },{\mathbf{l}}_2{\mathbf{u}}_2^{\ast },\dots ,{\mathbf{l}}_r{\mathbf{u}}_r^{\ast }$，且 $r$ 正是矩阵 $A$的秩（非零子块的最大数量）。最终分解式为：
  $A={\sum }_{k=1}^r{\mathbf{l}}_k{\mathbf{u}}_k^{\ast }=LU$（$L$ 由 ${\mathbf{l}}_1,{\mathbf{l}}_2,\dots ,{\mathbf{l}}_r$ 组成，$U$ 由 ${\mathbf{u}}_1^{\ast },{\mathbf{u}}_2^{\ast },\dots ,{\mathbf{u}}_r^{\ast }$ 组成）。

图 14：由 $LU$重新构造矩阵$A$
通过下三角矩阵$L$乘以上三角矩阵$U$来重新构造矩阵$A$相对简单，即$A=LU$。

6.3 $A=QR$（正交三角分解）

QR 分解是在保持矩阵$A$列空间不变（即$C(A)=C(Q)$）的条件下，将矩阵$A$ 表示为 列正交矩阵 $Q$ 与 上三角矩阵 $R$ 的乘积，即 $A=QR$。
其中，$Q$的列向量是通过对$A$的列向量组进行正交化与单位化得到的标准正交向量组，它们构成$A$列空间的一组标准正交基。若$A$是可逆方阵，则$Q$为正交矩阵（满足$Q{Q}^T=Q^{T}Q=I$）。

• 4.4 节 正交矩阵与格拉姆 - 施密特正交化（Orthogonal matrices and Gram - Schmidt）（p. 165）
  以 3 维列向量为例，格拉姆 - 施密特正交化通过以下步骤构造正交矩阵$Q$ 的列向量：

1. 第一个列向量的单位化
   对 $A$的第一个列向量${\mathbf{a}}_1$，单位化后得到${\mathbf{q}}_1$：
   $${\mathbf{q}}_1=\frac{{\mathbf{a}}_1}{\Vert {\mathbf{a}}_1\Vert }$$
   其中 $\Vert {\mathbf{a}}_1\Vert$ 是 ${\mathbf{a}}_1$的欧几里得范数，即$\Vert {\mathbf{a}}_1\Vert =\sqrt{{\mathbf{a}}_1^T{\mathbf{a}}_1}$。

2. 第二个列向量的正交化与单位化
   对 $A$的第二个列向量${\mathbf{a}}_2$，先减去其在${\mathbf{q}}_1$上的投影，得到与${\mathbf{q}}_1$正交的临时向量${\mathbf{q}}_2^{\text{temp}}$；再对 ${\mathbf{q}}_2^{\text{temp}}$单位化，得到${\mathbf{q}}_2$：
   $${\mathbf{q}}_2^{\text{temp}}={\mathbf{a}}_2-({\mathbf{q}}_1^T{\mathbf{a}}_2){\mathbf{q}}_1,{\mathbf{q}}_2=\frac{{\mathbf{q}}_2^{\text{temp}}}{\Vert {\mathbf{q}}_2^{\text{temp}}\Vert }$$

3. 第三个列向量的正交化与单位化
   对 $A$的第三个列向量${\mathbf{a}}_3$，减去其在 ${\mathbf{q}}_1$ 和 ${\mathbf{q}}_2$上的投影，得到与${\mathbf{q}}_1,{\mathbf{q}}_2$正交的临时向量${\mathbf{q}}_3^{\text{temp}}$；再对 ${\mathbf{q}}_3^{\text{temp}}$单位化，得到${\mathbf{q}}_3$：
   $${\mathbf{q}}_3^{\text{temp}}={\mathbf{a}}_3-({\mathbf{q}}_1^T{\mathbf{a}}_3){\mathbf{q}}_1-({\mathbf{q}}_2^T{\mathbf{a}}_3){\mathbf{q}}_2,{\mathbf{q}}_3=\frac{{\mathbf{q}}_3^{\text{temp}}}{\Vert {\mathbf{q}}_3^{\text{temp}}\Vert }$$

• 从列向量表示推导$A=QR$

  记 $r_{ij}={\mathbf{q}}_i^T{\mathbf{a}}_j$（$i,j=1,2,3$），则矩阵 $A$的列向量可由$Q$的列向量线性表出：

  第一个列向量：${\mathbf{a}}_1=r_{11}{\mathbf{q}}_1$；
  第二个列向量：${\mathbf{a}}_2=r_{12}{\mathbf{q}}_1+r_{22}{\mathbf{q}}_2$；
  第三个列向量：${\mathbf{a}}_3=r_{13}{\mathbf{q}}_1+r_{23}{\mathbf{q}}_2+r_{33}{\mathbf{q}}_3$。

将这些线性关系以矩阵形式整合，可得$A=QR$。其中：

• $Q=\left[\begin{array}{ccc}{\mathbf{q}}_1& {\mathbf{q}}_2& {\mathbf{q}}_3\end{array}\right]$为正交矩阵（满足$Q{Q}^T=Q^{T}Q=I$）；
• $R$为上三角矩阵，形式为：
  $$R=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ & r_{22}& r_{23}\\ & & r_{33}\end{array}\right]$$

因此，原矩阵$A$最终表示为“正交矩阵$Q$与上三角矩阵$R$的乘积”，即：
$$A=QR=\left[\begin{array}{ccc}\mid & \mid & \mid \\ {\mathbf{q}}_1& {\mathbf{q}}_2& {\mathbf{q}}_3\\ \mid & \mid & \mid \end{array}\right]\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ & r_{22}& r_{23}\\ & & r_{33}\end{array}\right]$$
其中 $R$的元素满足：$r_{ij}={\mathbf{q}}_i^T{\mathbf{a}}_j$（$i\le j$），$r_{ij}=0$（$i>j$）。

图 15：$A=QR$ 分解
通过 $QR$ 分解，矩阵 $A$的列向量被转化为正交矩阵$Q$的列向量（一个正交集合），且矩阵$A$的每一个列向量都可以用$Q$和上三角矩阵$R$重新构造出来，具体可参考前面的$P1$模式（列运算）。

6.4 $S=Q\Lambda Q^T$（对称矩阵特征值分解）

所有对称矩阵$S$（满足 $S=S^T$）都具有实特征值和正交的特征向量。其中，特征值${\lambda }_i$ 是对角矩阵 $\Lambda$的对角元素，特征向量$q_i$构成正交矩阵$Q$ 的列向量。

• 6.3 节（p. 227）对称正定矩阵（Symmetric Positive Definite Matrices）

  对称矩阵 $S$的特征值分解表达式为：
  $$S=Q\Lambda Q^T=\left[\begin{array}{ccc}\mid & \mid & \mid \\ q_1& q_2& q_3\\ \mid & \mid & \mid \end{array}\right]\left[\begin{array}{ccc}{\lambda }_1& & \\ & {\lambda }_2& \\ & & {\lambda }_3\end{array}\right]\left[\begin{array}{c}-q_1^T-\\ -q_2^T-\\ -q_3^T-\end{array}\right]$$

  进一步展开为秩 1 投影矩阵的线性组合：

  $$\begin{array}{rl}S& ={\lambda }_1\left[\begin{array}{c}\mid \\ q_1\\ \mid \end{array}\right]\left[\begin{array}{c}-q_1^T-\end{array}\right]+{\lambda }_2\left[\begin{array}{c}\mid \\ q_2\\ \mid \end{array}\right]\left[\begin{array}{c}-q_2^T-\end{array}\right]+{\lambda }_3\left[\begin{array}{c}\mid \\ q_3\\ \mid \end{array}\right]\left[\begin{array}{c}-q_3^T-\end{array}\right]\\ & ={\lambda }_1{P}_1+{\lambda }_2{P}_2+{\lambda }_3{P}_3\end{array}$$

  $$P_1=q_1{q}_1^{\text{T}},P_2=q_2{q}_2^{\text{T}},P_3=q_3{q}_3^{\text{T}}$$

图 16：对称矩阵特征值分解

对称矩阵的谱定理

一个对称矩阵$S$可通过正交矩阵$Q$及其转置矩阵$Q^T$对角化为对角矩阵$\Lambda$，并且能进一步分解为一阶投影矩阵$P_i={\mathbf{q}}_i{\mathbf{q}}_i^T$（其中 ${\mathbf{q}}_i$ 是 $Q$的列向量）的线性组合，这一结论即为谱定理（Spectral Theorem）。

分解的性质

此处的分解依赖于特定的性质（记为$P_4$），相关关系与投影矩阵$P_i$的性质如下：

1. 对称矩阵的组合表示：
   对称矩阵 $S$（满足 $S=S^T$）可表示为特征值与对应投影矩阵的线性组合：
   $$S=S^T={\lambda }_1{P}_1+{\lambda }_2{P}_2+{\lambda }_3{P}_3$$
   其中 ${\lambda }_1,{\lambda }_2,{\lambda }_3$ 是 $S$ 的特征值，$P_1,P_2,P_3$是对应一阶投影矩阵。

2. 单位矩阵的分解：
   正交矩阵 $Q$满足列向量的“完备性”，即各投影矩阵之和为单位矩阵$I$：
   $$Q{Q}^T=P_1+P_2+P_3=I$$

3. 投影矩阵的自身性质：

   • 对称性与幂等性：$P_i^2=P_i=P_i^T$（投影矩阵自身平方等于自身，且转置等于自身）；
   • 正交性：当 $i\ne j$ 时，$P_i{P}_j=O$（不同投影矩阵的乘积为零矩阵$O$）。

6.5 $A=U\Sigma V^T$（奇异值分解）

• 7.1 节（p. 259）奇异值与奇异向量（Singular Values and Singular Vectors）
  包括长方阵（$m\ne n$）在内的所有矩阵都具有奇异值分解（SVD）。在$A=U\Sigma V^T$ 中，$U$（$m\times m$矩阵）的列向量是$A{A}^T$的特征向量（称为左奇异向量），$V$（$n\times n$矩阵）的列向量是$A^{T}A$的特征向量（称为右奇异向量），$\Sigma$（$m\times n$矩阵）的对角线上的元素是$A^{T}A$（或 $A{A}^T$）非零特征值的平方根（称为奇异值），非对角线元素均为 0。

简化版 SVD 特点：

1. 正交性：$U{U}^T=I_m$（$I_m$ 为 $m$阶单位矩阵），$V{V}^T=I_n$（$I_n$ 为 $n$阶单位矩阵），即$U$ 和 $V$均为正交矩阵。
2. 对角化作用：$U^{T}AV=\Sigma$，即通过 $U^T$（左乘）和 $V$（右乘）将矩阵$A$ 对角化为 $\Sigma$。
3. 秩 1 组合形式：$A=U\Sigma V^T={\sum }_{k=1}^r{\sigma }_k{u}_k{v}_k^T$，其中 $r$ 为矩阵 $A$ 的秩，${\sigma }_k$ 为奇异值，$u_k$为左奇异向量，$v_k$为右奇异向量，该式将$A$表示为秩 1 矩阵的线性组合。

图 17：矩阵分解（SVD）$A=U\Sigma V^T$
奇异值分解是通过正交矩阵$U$ 和 $V$以及对角矩阵$\Sigma$，将任意矩阵$A$分解为具有明确几何意义（如旋转、缩放、投影）的矩阵乘积形式。

可以发现：

• $V$ 是 ${\mathbb{R}}^n$ 空间中 $A^{T}A$的特征向量构成的标准正交基；
• $U$ 是 ${\mathbb{R}}^m$ 空间中 $A{A}^T$的特征向量构成的标准正交基。

$U$ 和 $V$ 共同将矩阵 $A$对角化为对角矩阵$\Sigma$，且 $A$ 还可表示为秩 1 矩阵的线性组合，具体推导如下：

$$\begin{array}{rl}A& =U\Sigma V^T\\ & =\left[\begin{array}{ccc}\mid & \mid & \mid \\ {\mathbf{u}}_1& {\mathbf{u}}_2& {\mathbf{u}}_3\\ \mid & \mid & \mid \end{array}\right]\left[\begin{array}{cc}{\sigma }_1& \\ & {\sigma }_2\\ & \end{array}\right]\left[\begin{array}{c}-{\mathbf{v}}_1^T-\\ -{\mathbf{v}}_2^T-\end{array}\right]\\ & ={\sigma }_1\left[\begin{array}{c}\mid \\ {\mathbf{u}}_1\\ \mid \end{array}\right]\left[\begin{array}{c}-{\mathbf{v}}_1^T-\end{array}\right]+{\sigma }_2\left[\begin{array}{c}\mid \\ {\mathbf{u}}_2\\ \mid \end{array}\right]\left[\begin{array}{c}-{\mathbf{v}}_2^T-\end{array}\right]\\ & ={\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^T+{\sigma }_2{\mathbf{u}}_2{\mathbf{v}}_2^T\end{array}$$

注意

正交矩阵 $U$ 和 $V$ 满足：

• $U{U}^T=I_m$（$I_m$ 为 $m\times m$ 单位矩阵）
• $V{V}^T=I_n$（$I_n$ 为 $n\times n$ 单位矩阵）

奇异值分解的图释细节可参考$P_4$。

总结和致谢

我展示了矩阵/向量乘法的系统可视化表达，以及这些表达在五种矩阵分解中的应用。希望大家能喜欢这些内容，并经过它们加深对线性代数的理解。

阿什利·费尔南德斯（Ashley Fernandes）在排版过程中支援我美化了这篇论文，使其格式更统一、更专业。

在完成这篇论文之际，我要感谢吉尔伯特·斯特朗（Gilbert Strang）教授出版《人人都懂线性代数》（“Linear Algebra for Everyone”）一书。它引导大家从新的视角探索线性代数中的美妙内容，其中既介绍了当代与传统的数据科学和机器学习相关知识，也让每个人都能依据实用的方式理解线性代数的核心思想——这些都是矩阵世界的重要组成部分。

参考文献与相关工作

1. Gilbert Strang (2020), Linear Algebra for Everyone, Wellesley Cambridge Press.

2. Gilbert Strang (2016), Introduction to Linear Algebra, Wellesley Cambridge Press, 5th ed.

3. Kenji Hiranabe (2021), Map of Eigenvalues, An Agile Way (blog)
   
   

   图 18：特征值图（实$n\times n$方阵的特征值映射）

4. Kenji Hiranabe (2020), Matrix World, An Agile Way (blog)

   
   

   图 19：矩阵世界（Linear Algebra Matrix World）
   （由 Kenji Hiranabe 在 Gilbert Strang 教授的帮助下绘制，版本 v1.4.7，2022 年 10 月 25 日，译者：刘克芳）

5. New Ideas in “Linear Algebra for Everyone” Gilbert Strangi - compareLAFE-ILA5I

updated February 4, 2024

---

Essence of linear algebra

线性代数的本质

A geometric understanding of matrices, determinants, eigen-stuffs and more.
矩阵、行列式、特征值与特征向量等概念的几何视角解读

Vectors

向量

• Always think vectors in the coordinate space
  始终在坐标空间中理解向量

• It’s a directed line, starting at the origin, with certain length
  向量是从原点出发、具有特定长度的有向线段

• Addition of vectors
  向量的加法

• each vector represents a “movement” with steps and direction
  每个向量都代表一次包含步长和方向的“移动”

• a sum of two vectors can be thought as a two-step movement: first step move with vector 1 and move 2 after the first step move
  两个向量的和可理解为两次连续的移动：先沿第一个向量移动，再沿第二个向量移动

• Vector multiple by a number (“scalar”)
  向量与数（“标量”）的乘法

• “stretching” each coordinate by the value of scalar
  按标量的数值“拉伸”向量的每个坐标分量

Linear combinations, span, and basis vectors

线性组合、张成空间与基向量

• Span (of a vector): the line aligned with/goes through the vector
  （单个向量的）张成空间：与该向量共线且经过该向量的直线

Linear transformation and matrices

线性变换与矩阵

• “Linear” transformation (properties) => grid lines remain parallel and evenly spaced:
  “线性”变换（性质）：网格线保持平行且间距均匀，具体表现为：

• all lines remain as lines without getting curved
  所有直线变换后仍为直线，不会弯曲

• the origin remain fixed
  原点保持不动

• e.g. rotation, stretch
  例如：旋转、拉伸

• It can be considered as where the base vectors ($\hat{i}$ and $\hat{j}$) land after transformation, then everything else (i.e. all the vectors) in the coordinate follows
  线性变换可通过基向量（$\hat{i}$ 和 $\hat{j}$）变换后的落点来确定，坐标空间中的所有其他向量都会遵循基向量的变换规律

  $$\text{if}\overrightarrow{v}=c_1\hat{i}+c_2\hat{j}$$

  $\text{and after transformation}\hat{i}\text{lands on}\overrightarrow{i}\text{and}\hat{j}\text{lands on}\overrightarrow{j}$
  $\text{且变换后}\hat{i}\text{落在}\overrightarrow{i}\text{处，}\hat{j}\text{落在}\overrightarrow{j}\text{处}$

  $\text{then transformed}\overrightarrow{v}\text{can be written as}{\overrightarrow{v}}^{\prime }=c_1\overrightarrow{i}+c_2\overrightarrow{j}$
  $\text{则变换后的}\overrightarrow{v}\text{可表示为}{\overrightarrow{v}}^{\prime }=c_1\overrightarrow{i}+c_2\overrightarrow{j}$

• Thus the linear transformation of a 2-dimensional vector can be fully described by a$2\times 2$matrix defined by the vectors$\overrightarrow{i}$ and $\overrightarrow{j}$, or $[\overrightarrow{i}\overrightarrow{j}]$.
  因此，二维向量的线性变换可由一个$2\times 2$矩阵完整描述，该矩阵由变换后的基向量$\overrightarrow{i}$ 和 $\overrightarrow{j}$ 构成，即 $[\overrightarrow{i}\overrightarrow{j}]$。

• Calculation of linear transformation of a vector as the dot product of a matrix with a vector:
  向量的线性变换可通过矩阵与向量的点积计算，公式如下：

$$\begin{array}{r}\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\left[\begin{array}{c}e\\ f\end{array}\right]=e\ast \left[\begin{array}{c}a\\ c\end{array}\right]+f\ast \left[\begin{array}{c}b\\ d\end{array}\right]=\left[\begin{array}{c}a\ast e+b\ast f\\ c\ast e+d\ast f\end{array}\right]\end{array}$$

• Matrices multiplication can be thought as splitting the second matrix column-wise into individual column vectors, conduct above calculation for each column vector and combine the results column-wise.
  矩阵乘法可理解为：将第二个矩阵按列拆分为单个列向量，对每个列向量分别执行上述矩阵与向量的乘法运算，最后将结果按列组合。

• Special linear transformation:
  特殊的线性变换：

• Shear, whose transformation matrix is
  剪切变换，其变换矩阵为

$$\begin{array}{r}\left[\begin{array}{cc}1& 1\\ 0& 1\end{array}\right]\end{array}$$

• Linearly dependent transformation: the resulting transformed space is squashed into a 1-dimensional line
  线性相关变换：变换后的空间被压缩成一条一维直线

  

Matrix multiplication as composition

作为复合变换的矩阵乘法

• Multiplication of two matrices ==> two-step transformation (composition) of the space geometrically
  两个矩阵相乘，从几何角度看，等价于对空间进行两次连续的线性变换（即变换的复合）

• This is basically what I summarized in linear transformation:
  这与前文线性变换部分的总结一致，如图所示：

• This indicates that the order of the matrices multiplication matters, i.e. change the order of matrices will change the result
  这表明矩阵乘法的顺序至关重要，即交换矩阵的相乘顺序会改变结果

• To compute the determinant
  行列式的计算公式为

$$\begin{array}{r}\det \left(\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\right)=ad-bc\end{array}$$

Three-dimensional linear transformation

三维线性变换

• Very similar to two-dimensional transformation
  三维线性变换与二维线性变换相当相似

• Instead of move/transform the$x-$ and $y-$coordinates, there is just an additional$z-$axis to be transformed
  区别在于：二维变换仅涉及$x-$ 轴和 $y-$轴的变换，而三维变换还需额外考虑$z-$ 轴的变换

The determinant

行列式

• Geometric explanation: the “scaling” factor a linear transformation imposes to the area (2D) or volume (3D or above) defined by the basis vectors (since the area defined by the basis vectors is 1, the determinant is actually the signed area of the space defined by the column vectors in the transformation matrix)
  线性变换对基向量所围成区域（二维中为面积，三维及以上为体积）的“缩放系数”。由于基向量围成的区域面积/体积为 1，因此行列式本质上等于变换矩阵列向量所围成空间的有向面积/体积。就是几何意义：行列式

• Determinant can be negative, depending on the orientation of the transformation (negative if orientation is inverted/flipped)
  行列式可正可负，符号由变换的定向决定：若变换导致空间定向反转（翻转），则行列式为负。

• Determinant of zero meaning the transformation leads to 0 scaling to the area/volume or even to a single point; it also corresponds tolinearly dependent transformation
  行列式为 0 意味着：变换将空间区域的面积/体积缩放至 0（甚至压缩成一个点），此种情况对应线性相关变换。

• Right-hand rule: to check the orientation of the transformation in 3D
  右手定则：用于判断三维空间中变换的定向

  

Inverse matrices, column space and null space

逆矩阵、列空间与零空间

• Linear system of equations<=> matrix, vector product => linear transformation of a vector
  线性方程组等价于 矩阵与向量的乘积，本质是向量的线性变换

• Inverse of a matrix=> a back transformation corresponds to the matrix itself
  矩阵的逆是该矩阵所对应线性变换的“逆变换”（即撤销原变换的变换）

• The inverse of a matrix exists as long as its determinant is non-zero; in contrast, if the determinant is 0, the inverse doesn’t exist, i.e. we can expand a lower dimension space to a higher dimension one. There can be infinite possible higher dimensional space corresponds to the lower space in such case.
  当且仅当矩阵的行列式非零时，其逆矩阵存在；反之，若行列式为 0，则逆矩阵不存在。这意味着：我们无法将低维空间“扩展”为高维空间，且一个低维空间可能对应无数个高维空间。

• In some special cases, when the determinant is 0, there may still be solutions to some vectors, when the output vectors are those lie along the lower dimension line/space after the transformation (why??)
  在某些特殊情况下，即使行列式为 0，部分向量仍可能存在解：当输出向量恰好落在变换后低维直线/空间上时（原因待探究？）

• Rank:
  秩：

• geometrically, it’s the number of dimensions of the resulting space/output after a linear transformation, e.g. if the transformation leads to a line, then the rank of the transformation matrix is 1;
  几何意义：线性变换后输出空间的维数。例如，若变换将空间压缩成一条直线，则变换矩阵的秩为 1；

• Linear algebra: linearly independent columns of the transformation matrix
  线性代数定义：变换矩阵中线性无关列向量的个数

• Column spaceof a matrix: set of all possible outputs of the linear transformation <=> the span of columns of the transformation matrix
  矩阵的列空间：线性变换所有可能输出向量的集合，等价于变换矩阵列向量的张成空间

• Ranks of a matrix is the number of dimensions in its column space;$\left[\begin{array}{c}0\\ 0\end{array}\right]$is always in the column space
  矩阵的秩等于其列空间的维数，且零向量$\left[\begin{array}{c}0\\ 0\end{array}\right]$始终在列空间中

• Full rank: when the rank is as high as it can be;
  满秩：矩阵的秩达到其最大可能值；

• for a full rank transformation, only the original can lands on itself;
  满秩变换中，只有零向量变换后仍为自身；

• for a non-full rank transformation, there are infinite numbers of vectors can land on the origin; it is a whole line of vectors in 2D cases or whole plane of vectors get squished into the origin in 3D cases (that the number of dimensions lost in the transformation).
  非满秩变换中，有无数个向量变换后会落在原点：二维空间中是一整条直线上的向量，三维空间中是一整个平面上的向量（这些向量对应的维数即为变换中“丢失”的维数）。

• Null space: the set of vectors that lands on the origin or thekernelof the matrix
  零空间（又称矩阵的核）：变换后落在原点的所有向量的集合

Nonsquare matrices transformations between dimensions

非方阵：不同维度间的变换

• Columns of the matrix stands for the number of basis vectors (in input)
  矩阵的列数代表输入空间中基向量的个数（即输入空间的维数）

• Rows of the matrix stands for the number of coordinates of each landing spots (in output)
  矩阵的行数代表输出空间中每个落点的坐标分量个数（即输出空间的维数）

Dot products and duality

点积与对偶性

• Geometrical interpretation
  几何意义

• Project one vector to the other vector, multiply the projected vector’s length with the length of the other vector
  将一个向量投影到另一个向量上，再将投影向量的长度与被投影向量的长度相乘

• Numerical calculation
  数值计算

$$\begin{array}{r}\left[\begin{array}{c}a\\ b\end{array}\right]\cdot \left[\begin{array}{c}c\\ d\end{array}\right]=[ab]\ast \left[\begin{array}{c}c\\ d\end{array}\right]=a\ast c+b\ast d\end{array}$$

• Connection between geometric interpretation and linear transformation of a vector
  点积的几何意义与向量线性变换的关联

1. Dot product is equivalent to matrix-vector multiplication, i.e. a$1\times 2$matrix/vector times a$2\times 1$vector
   点积等价于矩阵与向量的乘法，即一个$1\times 2$矩阵（或行向量）与一个$2\times 1$向量（或列向量）相乘

2. This matrix-vector multiplication is connected with the linear transformation of the vector, which, geometrically speaking, projects/transforms a vector to a one-dimensional line (this line is defined by the other vector in the dot product)
   将向量投影（变换）到一条一维直线上（该直线由点积中的另一个向量定义）就是这种矩阵与向量的乘法对应向量的线性变换：从几何上看，

Cross products (of two vectors,$\vec{v}\times \vec{w}$)

叉积（两个向量$\vec{v}$ 与 $\vec{w}$的叉积，记为$\vec{v}\times \vec{w}$）

• Geometric interpretation: Area of the parallelogram formed by two vectors (in two dimensional space)
  几何意义（二维空间）：两个向量所围成平行四边形的面积

• If $\vec{v}$is on the right of$\vec{w}$, the product is positive; otherwise, the product is negative.
  若 $\vec{v}$ 位于 $\vec{w}$的右侧，则叉积为正；反之则为负。

• $\vec{v}\times \vec{w}=-\vec{w}\times \vec{v}$

  

• Numeric calculation
  数值计算

  

  

• But the actual results of a cross product of two vectors is actually another vector, which is perpendicular to the parallelogram with length equals to the area of the parallelogram and direction is decided by the “right-hand rule”
  但在三维空间中，两个向量叉积的结果是另一个向量：该向量与原两向量围成的平行四边形所在平面垂直，长度等于平行四边形的面积，方向由“右手定则”确定

Cross products in the light of linear transformations

从线性变换视角看叉积

Cramer’s rule, explained geometrically

克莱姆法则的几何解释

• The solution to the system of equations is given by the Cramer’s rule:
  线性方程组的解可通过克莱姆法则求得，公式如下：

  

  

• Derivation of Cramer’s rule
  克莱姆法则的推导思路

• Any vector$\overrightarrow{y}$ (e.g. $\left[\begin{array}{c}x\\ y\end{array}\right]$) can define asignedarea (2D) or a “volume” (3D or above) with the basis vectors and the area/volume can be expressed by the coordinate of$x$ or $y$ axis
  任意向量 $\overrightarrow{y}$（如 $\left[\begin{array}{c}x\\ y\end{array}\right]$）可与基向量围成一个有向面积（二维）或体积（三维及以上），该面积/体积可通过向量在$x$ 轴或 $y$轴上的坐标分量表示

• When applying a linear transformation to the vector, above area/volume is scaled by the determinant of the transformation matrix
  对向量施加线性变换后，上述面积/体积会按变换矩阵的行列式值进行缩放

• The resulting vector also defines an area/volume, which can be calculated as the determinant of a matrix based on the transformation matrix and replacing one of its column by the resulting vector (which one to replace is dependent on which basis vector the original area is calculated from)
  基于哪个基向量计算的）就是变换后的向量同样会围成一个面积/体积，该面积/体积可通过以下方式计算：以原变换矩阵为基础，将其中一列替换为变换后的向量，再计算新矩阵的行列式（替换哪一列，取决于原面积/体积

  
  
  

Change of basis

基变换

Eigenvectors and eigenvalues

特征向量与特征值

• Many vectors get knocked out of their spans after linear transformation, but some do remain on their spans (meaning only stretch or squish effect is applied to them)
  多数向量在经过线性变换后会偏离自身的张成空间，但部分向量仍会留在自身的张成空间内（即仅受到拉伸或压缩，方向不变）

• Those special vectors that remain on their span after linear transformation areeigenvectorsof the transformation
  这些经过线性变换后仍留在自身张成空间内的特殊向量，称为该变换的特征向量

• Eigenvaluesare just the factors that define how much stretch/squish is applied to the eigenvectors in the linear transformation
  特征值衡量线性变换对特征向量拉伸或压缩程度的系数就是则

  $$A\overrightarrow{v}=\lambda \overrightarrow{v}$$

  where $\overrightarrow{v}$is the eigenvector of transformation$A$ and $\lambda$is the eigenvalue corresponds to the eigenvector
  其中，$\overrightarrow{v}$ 是变换 $A$的特征向量，$\lambda$是该特征向量对应的特征值

• How to solve above equation?
  如何求解上述方程？

• It can be thought as in the linear transformation, all the base vectors are multiplied by a constant$\lambda$:
  可将其理解为：存在一个线性变换，所有基向量都被常数$\lambda$缩放，该变换的矩阵表示为：

$$\lambda \mathbb{I}$$

（其中 $\mathbb{I}$为单位矩阵）

• Then the equation becomes
  此时原方程可改写为

$$\begin{array}{rl}A\overrightarrow{v}& =\lambda \mathbb{I}\overrightarrow{v}\\ (A-\lambda \mathbb{I})\overrightarrow{v}& =\overrightarrow{0}\end{array}$$

• This leads to the fact that

  要使非零向量$\overrightarrow{v}$满足上述方程，需满足

$$\det (A-\lambda \mathbb{I})=0$$

（即矩阵 $(A-\lambda \mathbb{I})$的行列式为 0）

• Geometric application: 3D rotation. The eigenvector is the axis of rotation
  几何应用：三维旋转。此时特征向量对应旋转轴（旋转轴上的向量经旋转后方向不变，仅可能缩放）

• Some transformations may have more than one eigenvector/eigenvalue but some may have no eigenvector/eigenvalue, e.g. rotation in 2D space
  部分线性变换可能存在多个特征向量与特征值，但也有变换不存在特征向量与特征值，例如二维空间中的旋转变换（除零向量外，所有向量旋转后都会偏离原张成空间）

• It’s also possible that a single eigenvalue has more than a single eigenvector, it can have a line full of eigenvectors, e.g. in Shear transformation the eigenvalue is 1 and all the vectors on the x-axis are its eigenvectors; or a transformation that scales the space by a constant, there is only one eigenvalue but infinite numbers of eigenvectors
  其特征向量。就是单个特征值也可能对应多个特征向量，甚至一整条直线上的向量都是其特征向量。例如：剪切变换中，特征值 1 对应的特征向量是所有沿 x 轴的向量；再如空间整体缩放变换，仅有一个特征值，但所有非零向量都

• Eigenbasis: the basis vectors are also eigenvectors of the linear transformation.
  特征基：指一组基向量，且这组基向量均为某个线性变换的特征向量。

• It comes with the transformation with diagonal matrices, where the diagonal values are the eigenvalues.
  若线性变换的矩阵为对角矩阵，则该矩阵的基向量（即标准基向量）就是特征基，对角线上的元素就是对应的特征值。

• What if the original basis vectors are not eigenvectors? Change the coordinate system so that the eigenvectors become basis vectors.
  若原基向量不是特征向量，如何处理？可依据改变坐标系，使特征向量成为新的基向量，具体步骤如下：

  1. Make those eigenvectors as columns of a matrix,known as the change of basis matrix,
     将这些特征向量作为列向量构成一个矩阵，该矩阵称为基变换矩阵，记为 $P$；

  2. Sandwich the original transformation matrix with the inverse of the change of basis matrix and itself: the result will be the same transformation but using the new coordinate system and this (sandwich) matrix is guaranteed to be diagonal.
     用基变换矩阵$P$ 及其逆矩阵 $P^{-1}$对原变换矩阵$A$进行“夹逼”运算（即$P^{-1}AP$）：运算结果代表同一线性变换在新坐标系（以特征向量为基）下的矩阵，且该矩阵一定是对角矩阵；

  3. The column in the resulting diagonal matrix are the eigenbasis
     上述对角矩阵的列向量即为特征基，对角线上的元素为对应的特征值。

     

• This trick can be used to calculate the$n$th power of a matrix that is not diagonal
  该方法可用于计算非对角矩阵的$n$ 次幂：由于 $(P^{-1}AP{)}^n=P^{-1}{A}^{n}P$，因此 $A^n=P(P^{-1}AP{)}^n{P}^{-1}$，而对角矩阵的$n$次幂可直接通过对角元素求$n$次幂得到，计算更简便。

• NOTE: this manipulation is not always feasible, when the existing eigenvectors are not enough to span the entire/full space then it’s not feasible.
  注：该方法并非总能实现。若现有特征向量不足以张成整个空间（即矩阵不可对角化），则无法凭借这种方式将原矩阵转化为对角矩阵。

---

via:

• 线性代数的艺术.pdf
  http://eagle.qlintech.cn/upload/2024/12/线性代数的艺术.pdf

• Essence of linear algebra — Study Notes
  https://askming.github.io/study_notes/Math/Course-Essence of linear algebra.html