【整理文档】支持向量机

简介

定义

训练数据与标签

(x1，y1),(x2，y2)......(xn，yn)

其中xn为向量，yn为标签。

xn可以是多维的。xn=[x11，x12，x13......x1n]

线性模型

(w，b)

其中w是参数，b是常数。

w'+b=0（确定一个超平面），其中（法向量）w=[w1，w2，w3......wn]，w与x同维

一个训练集线性可分的定义

对于{(xi，yi)}i=1~n

存在(w，b)，使：

对任意i=1~n，有

Ⅰ.若yi=+1，则w'xi+b≥0

Ⅱ.若yi=-1，则w'xi+b＜0

 

 

 

 

优化问题（凸优化）

==结论：==

• 最小化：||w||² ——为方便求导多写成1/2||w||²
• 限制条件：yi[w'x+b]≥1（i=1~n）

二次规划问题：（要么无解，要么有唯一解）

• Ⅰ.目标函数为二次项
• Ⅱ.限制条件为一次项

 

==原因（关于为什么要最小化||w||² ）==

已知的几个事实：

事实1：

w'+b=0与aw'+ab=0是同一个平面，a∈R+

若（w，b）满足条件，则（aw，ab）也满足

 

事实2：（点到平面距离公式）

平面：w1x+w2y+b=0

则（x0，y0）到此平面距离：

　　d=（|w1x0+w2y0+b|）/（根号下w1^2+w2^2+w3^3......wm^2）

我们可以用a去缩放：

　　（w，b）→（aw，ab）

最终使在支持向量x0上，有：

　　|w1x0+b|=1

此时支持向量与平面的距离：

　　d=1/（||w||）

==故优化要最小化||w||，即取到dmax==

 

 

 

 

SVM处理非线性问题

定义：

最小化：

1/2||w||²+==CΣ(1=1~n)ξi==（黄色为正则项）

其中C是事先设定的参数；ξ是松弛变量

限制条件：

　　Ⅰ.yi[w'x+b] ≥ 1-ξi（i=1~n）

　　Ⅱ.ξi ≥ 0

 

高维映射概念ψ(x)：

x → ψ(x)

x是低维，ψ(x)是高维。限制条件中的yi[w'x+b] 也映射成yi[w'ψ(x)+b]

当转换的维数越高，就越能划分“这条直线”。当ψ(x)为无限维时，概率为1

∴ψ(x)是无限维

 

<!--我们可以不知道无限维映射ψ(x)的显式表达，我们只要知道一个==核函数（Kernel Funaction）==-->

<!--k(x1,x2) = ψ(x1)' ψ(x2)-->

<!--其中 ψ(x1)，ψ(x2)两个都是无限维向量的内积。k(x1,x2) 的结果是一个数。-->

<!--则优化公式==1/2||w||²+CΣ(1=1~n)ξi==仍然可解-->

　　

 

核函数(多/常用):

 

• 高斯核
• 多项式核

λ=1，c=1，n为d是多项式阶数

 

==泛函分析==

k(xi，yj)可以写成ψ(x1)' ψ(x2)的充要条件：

　　Ⅰ.k(x1，x2) = k(x2，x1)

　　==交换性==

　　Ⅱ.任意ci，xi（i=1~n），有Σ(i=1~n)Σ(j=1~n) * ci * cj * k(xi，xj) ≥ 0

　　==半正定性==