机器学习的相关知识-支持向量机（SVM）

参考这篇【机器学习】支持向量机 SVM（非常详细）

支持向量机

SVM 又叫支持向量机，支持向量就是$S、R、G$这三个点，也就是边界点吧，支持向量机就是通过支持向量运算的分类器。如果对应到超平面的话，就是找到各类样本点到超平面的距离最远，也就是找到最大间隔超平面。

背后公式

定义一个超平面的方程:$$w^{T}x+b=0$$
其中$w=(w_1;w_2;w_3...w_d)$为法向量，决定方向，$b$是偏移项。在样本空间中任意一个$x$到超平面$(w,b)$的距离就是:$$r=\frac{|w^{T}x+b|}{||w||}$$
然后可以根据$r$的值来定义$x$的类别，就好比大于等于1小于等于1等等。看上面的图就是$R,S,G$这三个点就是等于1或者-1，恰巧是临界点。可以写出这公式:$$\{\begin{array}{ll}{w}^T{x}_i+b>=+1,& {\text{y}}_i=+1\\ w^T{x}_i+b<=-1,& {\text{y}}_i=-1\end{array}$$两个不同类别支持向量之间的距离就是$$r=\frac{2}{||w||}$$我们所做的就是找到这个最大间隔，于是就有了求极值的问题，在满足 $y_i(w^T{x}_i+b)>=1$的条件下，满足$\frac{2}{||w||}$最大。
再变变形就是$$\begin{gathered} min\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w^T{x}_i+b)>=1 \end{gathered}$$这就是SVM的基础型了。

往后就是人们对如何解这个方程，提出一系列的方法。

拉格朗日乘子法

对偶问题

KKT条件

核方法

软间隔

正则化

可以看看这些
svm原理从头到尾详细推导
支持向量机（SVM）——原理篇
【机器学习】支持向量机 SVM（非常详细）
[机器学习] 绝对能听懂的支持向量机SVM(Part 1)