向量与矩阵的范数

向量的范数

向量的内积

设有两个n维向量\(x=(x_1,x_2,x_3...x_n)^T\)，\(y=(y_1,y_2,y_3...y_n)^T\)，
那么x，y的内积为

\[(x,y)=x_1y_1+x_2y_2+x_3y_3+...+x_ny_n \]

向量的度量

关于向量的函数\(\rho(x)\)如果是向量的度量，那么必须要满足以下的三个条件

1. \(\rho(x)\geq0 ，且\rho(x)=0当且仅当x=0\)
2. 对于任意常数\(\alpha\)有\(\rho(\alpha x)=|\alpha|\rho(x)\)
3. 对于任意的x，y，三角不等式\(\rho(x)+\rho(y)\leq\rho(x+y)\)成立

\(L_0\)范数

\[||x||_0=非零元素个数 \]

\(L_1\)范数

\[||x||_1=\sum_{i=1}^n|x|_i \]

\(L_2\)范数

\[||x||_2=\sqrt{\sum_{i=1}^n|x_i|^2} \]

\(L_\infty\)范数

\[||x||_\infty=max\lbrace |x_1|,|x_2|,|x_3|...|x_n|\rbrace \]

\(L_p\)范数

\[||x||_p=(\sum_{i=1}^n|x_i|^p)^{\frac 1 p} \]

Holder不等式

若\(\frac 1 p +\frac 1 q=1\)，有

\[|x^Ty|\leq ||x||_p||y||_q \]

范数的等价性

\(R^n\)上所有的范数都是等价的，也就是说，对于对于两个范数\(||\cdot||_\alpha\)与\(||\cdot||_\beta\)，存在\(c_1,c_2>0\)满足

\[c_1||x||_\alpha\leq ||x||_\beta\leq c_2||x||_\alpha \]

常用的范数等价性有

\[||x||_2\leq||x||_1\leq\sqrt n||x||_2 \]

\[||x||_\infty\leq ||x||_2\leq \sqrt n ||x||_\infty \]

\[||x||_\infty\leq ||x||_1\leq n||x||_\infty \]

矩阵范数

矩阵的度量

矩阵的度量和和向量的度量有着类似的定义，对于矩阵A，若\(\rho(A)\)是矩阵的度量，有

\[\rho(A)\geq 0,\rho(A)=0当且仅当A=0 \]

\[\rho(A+B)\leq \rho(A)+\rho(B) \]

\[\rho(\alpha A)=|\alpha|\rho(A) \]

Frobenius范数

对于\(A \in R^{m \times n}\)

\[||A||_F=\sqrt{\sum_{i=1}^m\sum_{j=1}^n|a_{ij}|^2} \]

p范数

对于\(A \in R^{m \times n}\)

\[||A||_p=(\sum_{i=1}^m\sum_{j=1}^n |a_{ij}|^p)^{\frac 1 p}=\sup_{x=0}||A(\frac{x}{||x||_p})||_p=\max_{||x||_p=1}||Ax||_p \]

当\(p=1,2,\infty\)分别为\(L_1\)，Frobenius，无穷范数

二范数的一个定理

假设\(A\in R^{m\times n}\)，则存在一个单位二范数n维向量x使得

\[A^TAx=||A||_2^2x \]

由此能得到

\[||A||_2=\sqrt{\lambda_{max}(A^TA)} \]

参考资料

吉恩·戈卢布，矩阵计算，人民邮电出版社