支持向量机SVM(Support Vector Machine)

支持向量机(Support Vector Machine)是一种监督式的机器学习方法(supervised machine learning)，一般用于二类问题（binary classification）的模式识别应用中。

 

支持向量机的最大特点是既能够最小化经验损失（也叫做经验风险、或者经验误差），同时又能够最大化几何间距（分类器的置信度），因此SVM又被称为最大边缘区（间距）的分类器。

 

根据具体应用场景的不同，支持向量机可以分为线性可分SVM、线性SVM和带有核函数的SVM。最终的结果都是得到一个分类超平面和一个决策函数。

 

根据机器学习的框架来说，SVM可以被描述为： 模型——分类超平面和最大化最小几何间距；策略——最大化几何间距；算法——二次凸规划问题。

 

1. 根据函数间隔，推出几何间隔；进而通过几何间隔的数学表示得到带有约束的最优化问题，通过拉格朗日乘子法和KKT条件，转化原问题为对偶问题，通过对于对偶问题的优化求解（如SMO，序列最小化优化算法）来得到最终的分类超平面参数和决策函数表示。

 

2. 对于线性不可分的线性SVM问题，通过引入松弛变量（合页损失函数hinge loss function，即为松弛变量的取值），对于分类问题进行扩展描述，得到相关的问题结果。按照1. 中步骤，继续求得分类超平面和决策函数。

 

3. 对于非线性可分问题，通过引入核技巧（kernel trick），将特征空间变换到高维空间，变为高维空间的线性可分问题，然后通过线性SVM解决在低维空间的线性不可分问题。

 

这里面需要注意的几点内容：输入空间、特征空间的区别。拉格朗日乘子法，对偶性问题和KKT条件。最优解，可行解，二次规划问题。软间隔。核函数：内积等于变换（映射）的内积。