SVM理论

这个博主写的很好：http://blog.csdn.net/on2way/article/details/47729419

一、学习步骤：

1、线性可分支持向量机：就是最基本的原始模式

2、线性支持向量机：在可分基础上加入了一个惩罚因子ξ

3、非线性支持向量机：在线性基础上再引入核函数

所以最重要的就是理解线性可分支持向量机的理论

 

二、支持向量原理

1、线性可分支持向量机

1、思想：我们让离超平面最近的点尽可能远离超平面，这个就是支持向量机的思想：

2、这里我们对w进行等比例缩放，使得

3、原来的目标函数就转化为：带约束条件的求极值问题，转化为同理：

4、使用拉格朗日乘子法：，这个时候我们的优化目标变成了

 

5、

 

6、对变化后的式子求导，得到w，b的值，再将这个式子回带到原方程，化简之后得到

化简过程：

7、得到这个式子之后，我们的问题是

8、通过smo算法我们可以求得这个a*，再计算wb就可以了

 

 二、线性支持向量机