机器学习先修知识（1）

范数

在学习机器学习之前，需要先了解到向量和矩阵在机器学习中的使用是很频繁的，因此我们需要先学习线性代数再来学习机器学习会比较合适。

这篇博客主要是补充一下关于向量和矩阵的关于范数的概念。

向量范数

先定义一个n元向量vector X = (x1, x2, x3···xn)。

1-范数 ：表示为 ||X||₁ = |x1| + |x2| + |x3| + ··· + |xn|。

2-范数 ：表示为 ||X||₂ = ( x1²+ x2²+ ··· + xn2)1/2

以此类推 p-范数：表示为 ||X||_p = (x1^p + x2^p + ··· + xn^p)^1/p

易证：当p趋近于+ ∞时，||X||_p = max(x1, x2, x3···xn)（也叫切比雪夫距离）

　　   当p趋近于 -∞时， ||X||_p = min(x1, x2, x3···xn)

 

矩阵范数

1-范数：
 列和范数，即所有矩阵列向量绝对值之和的最大值，matlab调用函数norm(A, 1)。

 

2-范数：，为的最大特征值。

谱范数，即A'A矩阵的最大特征值的开平方。matlab调用函数norm(x, 2)。 

-范数：

行和范数，即所有矩阵行向量绝对值之和的最大值，matlab调用函数norm(A, inf)。

F-范数：

Frobenius范数，即矩阵元素绝对值的平方和再开平方，matlab调用函数norm(A, ’fro‘)。

核范数：是A的奇异值。

即奇异值之和。