范数

目录

• 向量范数（vector norm）
  • 向量的 1-范数
  • 向量的 2-范数
  • 向量的负无穷范数
  • 向量的正无穷范数
• 矩阵范数（matrix norm）
  • 矩阵的 1-范数
  • 矩阵的 2-范数
  • 矩阵的 ∞-范数
  • 矩阵的 核范数
  • 矩阵的 L0范数
  • 矩阵的 L1范数
  • 矩阵的 F范数(L2范数)
  • 矩阵的L21范数

---

返回 我的研究方向(Research Interests)

---

向量范数（vector norm）

我们定义一个向量：

\[a = \left [ -5, 6, 8, -10 \right ] \]

向量的 1-范数

向量的各个元素的绝对值之和

对于上述向量 a 的1范数就是：\(||a||_{1} =|-5|+|6|+|8|+|-10| = 29\)

向量的 2-范数

向量的每个元素的平方和，再开平方根

对于上述向量 a 的2范数就是：\(||a||_{2} =\sqrt{(-5)^2 + (6)^2 + (8)^2 + (-10)^2} = 15\)

向量的负无穷范数

向量的所有元素的绝对值中最小的

对于上述向量 a 的负无穷范数就是：\(||a||_{-∞} = min\left \{ |-5|,|6|,|8|,|-10| \right \} =5\)

向量的正无穷范数

向量的正无穷范数，也指无穷范数
向量的所有元素的绝对值中最大的

对于上述向量 a 的正无穷范数就是：\(||a||_{+∞} = max\left \{ |-5|,|6|,|8|,|-10| \right \} =10\)

矩阵范数（matrix norm）

我们定义一个矩阵：

\[ A = \begin{bmatrix} 1 & -2 \\ -3 & 4 \end{bmatrix} \]

矩阵的 1-范数

矩阵的 1-范数，也叫 A的列范数
矩阵的每一列上的元素绝对值先求和，再从中取个最大的（列的和 的最大）

对于上述矩阵 A 的 1-范数就是：

\[||A||_1 = max\left \{ |1|+|-3| ， |-2|+|4| \right \} =max\left \{ 4， 6 \right \} = 6 \]

矩阵的 2-范数

矩阵\(A^TA\)的最大特征值开平方根

\[||A||_2 = (A^TA的最大特征值)^{\frac{1}{2}} \]

\[\begin{bmatrix} 1 & -3 & \\ -2 & 4 & \end{bmatrix} \begin{bmatrix} 1 & -2 & \\ -3 & 4 & \end{bmatrix}= \begin{bmatrix} 10 & -14 & \\ -14 & 20 & \end{bmatrix} \]

则它的特征方程为：

\[|\lambda I-A^TA| = \begin{vmatrix} \lambda-10 & 14 \\ 14 & \lambda-20 \end{vmatrix}=\lambda^2-30\lambda+4=0 \]

此方程的根为矩阵 \(A^TA\) 的特征值，解得

\[\lambda_1 = 15+\sqrt{221}，\lambda_2 = 15-\sqrt{221} \]

因此，取最大，即非负的\(\lambda_1\)

\[||A||_2 = (15+\sqrt{221})^{\frac{1}{2}} \approx 5.46 \]

矩阵的 ∞-范数

矩阵的 1-范数，也叫 A的列范数
矩阵的每一列上的元素绝对值先求和，再从中取个最大的（列的和 的最大）

对于上述矩阵 A 的 1-范数就是：

\[||A||_∞ = max\left \{ |1|+|-2| ， |-3|+|4| \right \} =max\left \{ 3， 7 \right \} = 7 \]

矩阵的 核范数

机器学习的低秩，稀疏等一些地方用到的范数，一般有核范数，L0范数，L1范数（有时也叫1范数），L21范数（有时也叫2范数），F范数等，上述范数都是为了解决实际问题中的困难而提出的新的范数定义，不同于前面的矩阵范数

矩阵的奇异值（将矩阵svd分解）之和，这个范数可以用来低秩表示（因为最小化核范数，相当于最小化矩阵的秩——低秩）

矩阵SDV分解:

矩阵的 L0范数

矩阵的非0元素的个数，通常用它来表示稀疏，L0范数越小0元素越多，也就越稀疏

对于上述矩阵 A 的 L0范数就是：

\[ A = \begin{bmatrix} 1 & -2 \\ -3 & 4 \end{bmatrix} \]

\[A的L0范数=4 \]

矩阵的 L1范数

矩阵中的每个元素绝对值之和，它是L0范数的最优凸近似，因此它也可以表示稀疏

对于上述矩阵 A 的 L1范数就是：10

矩阵的 F范数(L2范数)

矩阵的各个元素平方之和再开平方根，它通常也叫做矩阵的L2范数，它的有点在它是一个凸函数，可以求导求解，易于计算

对于上述矩阵 A 的 L1范数就是：\(\sqrt{30}\)

矩阵的L21范数

矩阵先以每一列为单位，求每一列的F范数（也可认为是向量的2范数），然后再将得到的结果求L1范数（也可认为是向量的1范数），很容易看出它是介于L1和L2之间的一种范数

参考：

[1] 机器学习-降维算法(MDS算法):https://blog.csdn.net/lyn5284767/article/details/81456456