支持向量机（support vector machines, SVM）

支持向量机SVM是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，可将问题化为求解凸二次规划的问题。

决策面方程

如果输入的数据是一个 $L$

$L$

超平面方程

判断超平面是否将样本点正确分类？

怎么在众多的点中选出极限位置的点呢？

对于二分类问题：在二维平面上有两种点，我们分别对它们进行标记：
- 红颜色的圆点标记为1，规定其为正样本；
- 蓝颜色的五角星标记为-1，规定其为负样本。
对每个样本点x_i加上一个类别标签y_i：
如果我们的超平面方程能够完全正确地对上图的样本点进行分类，就会满足下面的方程：
如果假设决策面正好处于间隔区域的中轴线上，并且相应的支持向量对应的样本点到决策面的距离为d，那么公式进一步写成：_。上述公式的解释就是，对于所有分类标签为1的样本点，它们到直线的距离都大于等于d(支持向量上的样本点到超平面的距离)。对于所有分类标签为-1的样本点，它们到直线的距离都小于等于d。
公式两边都除以d，就可以得到：，。
因为||w||和d都是标量。所上述公式的两个矢量，依然描述一条直线的法向量和截距。
因此，“对于存在分类间隔的两类样本点，我们一定可以找到一些超平面，使其对于所有的样本点均满足条件：
设置分类标签为+1和-1，则得到约束方程：

使用支持向量上的样本点求解分类间隔d的最大化的问题，此时满足：，所以求解d的最大值，可以转换为求解||w||的最小值。

，这里n是样本点的总个数，上述公式描述的是一个典型的不等式约束条件下的二次型函数优化问题。

1.凸二次规划的拉格朗日函数

，α_i是拉格朗日乘子，α_i大于等于0，是构造新目标函数时引入的系数变量，自行设置。(b=γ)

令：。当样本点在可行解区域内时：；反之，样本点在可行解区域外时：

得到新的目标函数：，因此需要求取新目标函数的最小值

2.拉格朗日对偶性优化求解

按照原问题p^*求解：首先就要求解的参数w和b的方程，而α_i又是不等式约束，难以求解。所以，使用拉格朗日函数对偶性，将最小和最大的位置交换一下，这样就变成了：

使得d^*=p^*的条件：

对偶转换后求解：

不断地将原二次规划问题分解为只有两个变量的二次规划子问题，并对子问题进行解析求解，直到所有变量满足KKT条件为止。
SMO算法的目标是求出一系列α和b，一旦求出了这些α，就很容易计算出权重向量w并得到分隔超平面。
SMO算法的工作原理是：每次循环中选择两个α进行优化处理。一旦找到了一对合适的α，那么就增大其中一个同时减小另一个。这里所谓的"合适"就是指两个α必须符合以下两个条件，条件之一就是两个α必须要在间隔边界之外，而且第二个条件则是这两个α还没有进进行过区间化处理或者不在边界上。

线性不可分即指部分训练样本不能满足的条件。解决方法：加入松弛变量，允许一些点到分类平面距离不能满足原先的要求。具体约束条件中增加一个松弛参数ε_i≥0，变成：。当ε_i足够大时，训练点就可以满足以上条件。
虽然得到的分类间隔越大越好，但也需要避免ε_i取太大的值。所以在目标函数中加入惩罚项，得到优化问题：，其中ε∈Rⁿ，C是一个惩罚参数。目标函数意味着既要最小化||w||²（即最大化间隔），又要最小化（即约束条件的破坏程度，参数C体现了两者总体的一个权衡。