2023-06-28《计算方法》- 陈丽娟 - 向量和矩阵基础.md

2023-06-28《计算方法》- 陈丽娟 - 向量和矩阵基础

Matlab计算方法矩阵范数导数条件数

本问补充向量和矩阵范数的相关知识，为下一章节的线性方程组的迭代法以及误差分析做准备。除了参考《计算方法》一书，还参考了华东师范大学数学学院的课程材料《迭代方法与预处理》以及陈新宇、伍元凯、赵熙乐和孙立君所著《面向时空交通数据修复及预测的低秩机器学习模型》, 有兴趣者可以去看他们在Github发布的文章 https://xinychen.github.io/books/spatiotemporal_low_rank_models.pdf

1. 向量范数

定义1:
设, 实值函数 称的范数，如果

1. 非负性；
2. 齐次性：即, ;
3. 三角不等式：对任意两个向量, 都有
   
   

向量范数所表示即中的一个度量，表示向量的长度，下面给出向量范数的几个例子：

1. 1-范数：;
2. 2-范数：;
3. -范数：;
4. p-范数：, ;

需要注意向量0-范数（计数）不满足向量范数的定义。另外向量和内积有以下关系：

推论1:
设 是上的内积，则 是上的一个向量范数。

既然在中的向量范数有无穷多个定义，那么我们该如何选择使用哪个范数呢？下面的定理将告诉我们虽然向量范数有无穷多个，但是任意两个向量范数之间是等价的。

定理1:
在上定义的任一向量范数都与向量1-范数等价，即存在正数和, 对一切, 下述不等式成立：

按照书中的方式给出证明：
设, 由三角不等式可知是连续函数，则在单位球面上有界。设其最大值为, 最小值为，则有

另设为任意非零向量，则

（即变为单位向量），然后即得

也即是

虽然定理1只说明任意向量范数都与范数等价，但是很容易就能得出对于任意和都是等价的，特别的：

更广义的，
定理2：
有限维赋范线性空间上的所有范数都是等价的。

Cauchy-Schwartz 不等式
设是上的内积，则对任意， 有

且等号成立的充要条件是和线性相关。

Holder 不等式
设是上的Euclidean内积， 则对任意, 有

其中且.

备注
关于p-范数是范数，Cauchy-Schwartz 不等式，Holder 不等式的证明可以在《矩阵理论》-黄廷祝 上找到。

2. 矩阵范数

矩阵范数的定义和向量范数如出一辙：
定义2:
设, 实值函数 称的范数，如果

1. 非负性；
2. 齐次性：即, ;
3. 三角不等式：对任意两个向量, 都有
   
   
4. 相容性：, for all .

后续叙述均在上讨论。

下面给出几个常见的矩阵范数：

1. -范数
   
   
2. -范数 (算子范数，诱导范数，导出范数)
   
   
3. 1-范数（列范数）：;
4. -范数（行范数）：;
5. 2-范数（谱范数）：，其中为的谱半径，为的特征值

简单计算即可验证-范数不是算子范数（找不到这样的）

定理
上的所有范数都是等价的，特别地

引理
设, 则, 且

矩阵范数的性质（对复数域成立）
1. 对任意相容范数有(由相容性定义可得);
2. 任意算子范数都是相容范数;
3. -范数是相容范数；
4. 和是酉不变范数，即对任意酉矩阵 ，有

5. ,
6. 若是正规矩阵， 则，因此, 其中是任意算子范数。(,即.)

相应的结论可以退化到实数域中。

3. 病态矩阵

所谓病态矩阵即在线性方程组的求解过程中的舍入误差对求解会产生严重影响的一类系数矩阵。为了方便判断矩阵是否是病态的，给出条件数的定义：
定义
设为阶非奇异矩阵，则称数为矩阵的条件数，记为, 其具有性质
1. ;
2. , ;
3. 若，则.

由于条件数的计算涉及矩阵求逆，因此实际上难以实现，如何对条件数进行合理估计在《矩阵理论》一书中有所涉及。下面按照《计算方法》给出一些经验判据：
1. 用列主元高斯消元法时，出现绝对值很小的主元素；
2. 系数矩阵行列式的绝对值很小或很大；
3. 系数矩阵元素的量级差别很大；
4. 系数矩阵的行列式几乎线性相关。

定理
设, 为非奇异矩阵，，为方程组的精确解，为求得的近似解，其剩余向量为, 则有误差估计

证明： 由, 得到, 即, 则有

因此

4. 向量和矩阵（含范数）导数

向量函数的导数即是多元函数的导数，其中相关的梯度和黑塞矩阵相关知识相同。

例 写出的偏导数 和.

由于, 故

从而, .

例 写出的偏导数 和.

例 写出函数的导数。

其中
则.