Machine Learning --- SVM & Kernel Trick & GLM

一、SVM

SVM:支持向量机，即用不多的几个向量（二维是点）撑起分类界面，如图：

固定间隔为1，目标是让几何间隔越大越好（类分得越开越好），即找出最小的||w||。这里间隔定义为：|g|=y*(w'x+b)，几何间隔定义为：|g|/||w||（即点到直线的距离）。为方便运算，把w的二范式平方（即权重平方和），最后就把SVM转变为二次规划问题：

解规划问题，自然想到拉格朗日乘子法，定义拉格朗日函数：

此式对w求偏导，便得最小w（a是一个稀疏向量，非零项对应的x为支持向量）：

因此判别函数便出来了：

将测试的点x带入上式，与训练的点xi算内积，得出的结果大于1便是+类，小于1便是-类。

以上为理想情况，如果出现利群点在俩间隔内，还用上式将出现不可分类问题。解决过拟合要加正则，解决不可分类要加松弛变量，松弛变量前乘上惩罚因子c，如下式：

如式所示：间隔由[-1,1]（硬间隔）变成了[-(1-ξ),(1-ξ)]（软间隔）。由此总结出：SVM即软间隔分类器，测试时只要将点x代入f(x)公式，与训练点xi算内积，结果大于1-ξ则为+类，小于-1+ξ则为-类。

注：为求系数向量a，将w₀和w代入拉格朗日函数L(a,w₀,w)得对偶表达式：

  

满足限制条件：

解对偶问题仍是二次规划，变量N，约束N+1，当N较大时对偶问题复杂度高于原问题；当维数D较大时可用核方法复杂度低于原问题。

 

二、解决线性不可分——核函数（向更高维映射计算高维内积）

SVM在两群点线性可分时能找到分界超平面，如果两类点本来就线性不可分，就要将x映射到更高维得到x'，以在更高维线性可分。于是内积运算变成：

这里xi'和x'都不知道，而且向高维映射容易出现维度灾难。如何在已知xi和x的基础上得到xi'和x'的内积呢？核函数实现了此功能，低维输入高维输出。

等价于内积运算，因此只要出现内积的地方用核函数代替就好了。

总结：SVM即加入核方法的软间隔线性分类器。

 

三、泛化的线性模型(GLM)：

多项式基：

径向基(RBF，平移不变基)：

图例如下：

 

四、典型的核函数（使用方法：将内积运算替换为核函）

1.多项式核

如：

2.RBF核（平移不变核/高斯核）

为带宽，带宽太小会过拟合，太大则会欠拟合。

3.Sigmoid核

4.余弦相似度核

，在处理文本分类时常用。

5.字符串核

6.金字塔匹配核（词袋模型，加权直方图交）

7.概率乘积核

8.Fisher核