Chapter 3 Matrices

Chapter 3 Matrices

3.1 Matrix basics

• Matrices as arrays of numbers：简单的概念介绍，以及引入加法和乘法之后可以将矩阵视作 vector space 中的元素
• Matrix products：矩阵乘法的定义；及若干种理解方式，如对列/行的变换以及秩1矩阵的和；转置后矩阵乘法的顺序
• Block matrix products：分块表示
• Matrix space and inner product：矩阵的内积 -> 矩阵的trace以及 \(\text{trace}AB=\text{trace}BA\) 的性质

3.2 Matrix as linear maps

• Matrices, linear and affine maps：利用矩阵\(A\)表示 \(f: \mathbb{R}^n \rightarrow \mathbb{R}^m\)，\(y=Ax\)是一种 linear map，\(f(x)=Ax+b\) 是一种 affine map
• Approximation of nonlinear functions：利用泰勒展开，借助 Jacobian 矩阵与 Hessian 矩阵对非线性函数的函数值进行估计。
• Range, rank and nullspace：\(\mathcal{R}(A), rank(A), \mathcal{N}(A)\) ，其中比较好的想法是 \(Ax\) 是对 \(A\) 中列向量的线性组合，故 \(A\) 中最大线性无关组的向量数量即为 \(\mathcal{R}(A)\)​ 维度。【20241122】
• The fundamental theorem of linear algebra：\(\mathcal{R}(A^T)\) 与 \(\mathcal{N}(A^T)\)​ 的关系

3.3 Determinants, eigenvalues, and eigenvectors

• Action of a matrix along lines：简单的一维场景下，以矩阵表示的对向量的线性变换
• Determinannts and the transformation of the unit cube：以二维的”立方体为例“，通过面积的计算阐述行列式的几何意义，以及奇异矩阵的定义和性质
• Matrix inverses：介绍非奇异矩阵的逆矩阵，及 pseudoinverse 矩阵
• Simalar matrices：基变换与相似矩阵，这里的描述不是很直观，如果没接触过基变换的思想可能有些难以理解
• Eigenvectors and eigenvalues：特征值的概念，计算方法和一些性质。每一个方阵都有n个特征值，不同特征值对应的特征向量线性独立，任意方阵都 similar to a block-triangular matrix having a block. 【20241125】
• Digonalizable matrices：部分矩阵可对角化。其直观理解为，对于空间中的的点，以特征向量作为新基进行基变换，对于基变换后的新坐标，原矩阵所对应的线性变换对于新坐标的各分量便只有放缩效果。

3.4 Matrices with special structure and properities

• Square matrices：方阵

• Sparse matrices：大部分元素为0的矩阵，可以借助这一特性提升计算效率

• Symmetric matrices：\(A=A^T\) 的对称矩阵

• Diagonal matrices：square mtrices with \(a_{ij}=0\) whenever \(i\neq j\)​

• Triangular matrices：上/下三角矩阵，两个此类矩阵的乘积与此类矩阵的逆依然是上/下三角矩阵

• Orthogonal matrics：各列向量构成一组标准正交基，经过此类矩阵表示的线性变换，向量的长度与两个向量之间的夹角不变

• Dyads：秩1矩阵，\(A=uv^T\)，各列/行向量之间有倍数关系，各列向量都是\(u\)伸缩后形成的，因此经过以其表示的线性变换，输出的向量也都是伸缩后的\(u\)，\(A\)为方阵时只有一个非零特征值\(v^Tu\)

• Block-structured matrices：矩阵分块若形成“对角”和"块三角"时，对应的特征值和逆具有的一些特性，根据矩阵和行列式分块后一些运算与简单的矩阵有相同形式的前提，这些特性都不难看出

• Rank-one pertubations：研究当一个 Rank-one 矩阵即dayd加到一个矩阵时，对矩阵的逆以及矩阵的秩产生的摄动。依据前文的公式可以直接计算新矩阵的逆。比较有意思的性质是矩阵的秩改变量小于等于1。rank-one 摄动最多改变矩阵的秩的数量为1，听起来很有意思，其实应该相当于把每个列/行向量加入一定的分量，这些分量的方向是相同的。或者说，本质上，相当于在矩阵已有的列向量之外，取一个其他向量，与已有的向量线性组合后作为新矩阵的列向量，这样对矩阵秩的改变，显然不会超过1

3.5 Matrix fractorizations

• QR：对方阵的分解，结合Gram-Schmit正交化的思想
• Eigenvalue decomposition for diagonalizable matrices：对一般化矩阵的分解，可以借助保持正交基的线性变换理解
• 特征值分解-矩阵对角化：针对n*n方阵，有\(n\)个线性无关的特征向量则可对角化
• Spectral decomposition for symmetric matrices：对阵矩阵的谱分解（特征值分解）可以利用对称矩阵K重特征值必然有K个线性无关的特征向量且不同特征值所对应的特征向量正交等性质得到更简单的形式。

3.6 Matrix norms

• Definition：>=0 && 倍数关系 && 三角不等式 -> 常用的 Frobenius norm 与 \(l_p\) 诱导范数、
• Frobenius norm：\(||A||_F=\sqrt{\text{trace}AA^T}=\sqrt{\sum_{i=1}^m \sum_{j=1}^n\left|a_{i j}\right|^2}\)，每个元素的平方的和，当然也可以理解为行/列向量2范数的平方和，可以推导出\(||Ax||_2\leq||A||_F||x||_2\) 以及 $||AB||_F\leq||A||_F||B||_F. $可以 measures the response to random inputs
• Operator norms：give a characterization of the maximum input-output gain of the linear map \(u\rightarrow y=Au\) . 使用 \(\ell_p\) 范数描述输入和输出，\(\|A\|_p \doteq \max _{u \neq 0} \frac{\|A u\|_p}{\|u\|_p}=\max _{\|u\|=1}\|A u\|_p\)，可以推导出 \(||Au||_p \leq ||A||_p||u||_p\) ，以及 \(||AB||_p \leq ||A||_p||B||_p\) 。写出 \(p=1,2\) 的情况不难得出，\(||A||_1\) 即为最大的列绝对值之和，\(||A||_{\infty}\) 即为最大的行绝对值之和，\(||A||_2\) 可以利用半正定矩阵/厄密特矩阵的分解证明。
  • Spectral radius：谱半径，\(\rho(A) \doteq \max _{i=1, \ldots, n}\left|\lambda_i(A)\right|\)，借助 Operator norm 的性质可以推导出 \(|\lambda_i|\leq||A||_p\)

3.7 Matrix functions

• Matrix powers and polynomials：对于有特征值\(\lambda\) 的矩阵 \(X\)，函数 \(p(X)=a_m X^m+a_{m-1} X^{m-1}+\cdots+a_1 X+a_0 I_n\)，借助特征值的定义不难证明，\(p(X)\) 有特征值 \(p(\lambda)\)。对于可对角化的矩阵，将 \(X=U\Lambda U^{-1}\) 代入，一系列原矩阵与逆矩阵相乘可以得到简洁的形式，即 \(p(X)=U p(\Lambda) U^{-1}\).
  • Convergence of matrix powers：对于可对角化的矩阵 \(X\)，可以写成 \(X^k=U \Lambda^k U^{-1}=\sum_{i=1}^n \lambda_i^k u_i v_i^{\top}\) 的形式，显然 \(max_i|\lambda_i|\) 与 1 的关系即谱半径的大小决定了收敛性
• Non=polynomial matrix functions：对于一般的解析函数 \(f(t)\)，将其在局部展开成多项式的形式就可以使用 3.7.1 中的结论。在展开式有意义的范围内，有 \(f(X)=Uf(\Lambda)U^{-1}.\)