范数那些事儿

范数

目录

• 范数
  • 距离
  • 范数定义
  • 向量范数
  • 函数范数
  • 矩阵范数

距离

　　世界上最遥远的距离，不是生与死的距离，不是天各一方，而是，我就站在你的面前，你却不知道我爱你

　　要讲范数，先从距离开始讲起

　　语文上，距离，是指(两物体)在空间上和时间上相隔或间隔的长度

　　而在数学上，像在二维三维空间这样的直觉空间中的两个点或向量，我们可以直观地定义它们之间的距离，

　　但在高维空间或者函数空间这样的抽象空间，我们怎么定义两个函数之间的"距离"呢？

　　广义的距离的定义其实是这样的

　　　　设X是任一非空集，对X中任意两点x,y
　　　　有一实数d(x , y)与之对应且满足：

　　　　　　1)非负性、同一性：d(x , y) \(\geq\) 0，当且仅当 x = y 时，d(x , y) = 0；

　　　　　　2)对称性：d(x , y) = d(y , x)；

　　　　　　3)直递性、三角不等式：d(x , y) \(\leq\) d(x , z) + d(z , y)

　　　　则称d(x , y)为X中的x和y的距离

范数定义

　　在"距离"这样的性质的基础上，我们引出了范数的定义，用于对线性空间中元素大小进行衡量，它是向量长度概念的直接推广

　　定义 设S为线性空间,x \(\in\) S,若存在唯一实数|| ● ||，满足条件：

　　　　1)正定性：|| x || \(\geq\) 0，当且仅当 x = 0 时，|| x || = 0；

　　　　2)齐次性：|| αx || = | α |　|| x ||；

　　　　3)三角不等式：|| x+y || \(\leq\) || x || + || y ||.

　　则称|| ● ||为线性空间S上的范数。

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
　　是不是感觉跟距离的定义很类似，
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

向量范数

　　(1)向量的∞范数(最大范数)

\[|| x||_∞ = \max \limits_{1\leq i\leq n} | x_i | \]

　　(2)向量的1-范数

\[|| x ||_ 1 = \displaystyle\sum_{i=1}^n | x_i | \]

　　(3)向量的2-范数(欧式范数)

\[|| x ||_2 = (\displaystyle\sum_{i=1}^n x_i^2)^\frac{1}{2} \]

　　(4)向量的p-范数

\[|| x ||_p = (\displaystyle\sum_{i=1}^n| x_i |^p)^\frac{1}{p} \]

函数范数

　　(1)函数的∞范数

\[|| f||_∞ = \max \limits_{a\leq x\leq b} | f(x) | \]

　　(2)函数的1-范数

\[|| f ||_ 1 = \int_{a}^{b} | f(x) | dx \]

　　(3)函数的2-范数

\[|| f ||_2 = (\int_{a}^{b} f^2(x) dx )^\frac{1}{2} \]

矩阵范数

　　(1)矩阵A的行范数

\[|| A||_∞ = \max \limits_{1\leq i\leq n} \displaystyle\sum_{j=1}^n| a_{ij} | \]

　　(2)矩阵的列范数

\[|| A||_∞ = \max \limits_{1\leq j\leq n} \displaystyle\sum_{i=1}^n| a_{ij} | \]

　　(3)向量的2-范数

\[|| A ||_2 = \sqrt{λ_{max}(A^TA)} \]

　　其中\(λ_{max}(A^TA)\)表示\(A^TA\)的最大特征值