SMO Algorithm流程

SMO Algorithm流程

---

SMO Algorithm

Input: T$T$ = (x1,y1),(x2,y2),...,(xN,yN)$(x_1,y_1),(x_2,y_2),...,(x_N,y_N)$ ,精度 ϵ$ϵ$
Output:近似解 y^$\hat{y}$
1. 取初值 α(0)${\alpha }^{(0)}$ =0, k=0
2.1： 选取最优变量：对于第一个变量 α(k)1${\alpha }_1^{(k)}$ ，遍历所有 0<αi<C$0<{\alpha }_i<C$ 的值，也就是 yi∗g(xi)=1$y_i\ast g(x_i)=1$ 的值，也就是支持向量，检验是否满足KKT条件，也就是,是否满足一下三个条件：
∑Ni=1αiyi=0$\sum _{i=1}^N{\alpha }_i{y}_i=0$
o≤αi≤C$o\le {\alpha }_i\le C$ ,i=1,2,...,N$i=1,2,...,N$
yi∗g(xi)≥1,for$y_i\ast g(x_i)\ge 1,for$ {$\{$ xi|$x_i|$ αi=0${\alpha }_i=0$ }$\}$
yi∗g(xi)=1,for$y_i\ast g(x_i)=1,for$ {$\{$ xi|$x_i|$ 0<αi<C$0<{\alpha }_i<C$ }$\}$
yi∗g(xi)≤1,for$y_i\ast g(x_i)\le 1,for$ {$\{$ xi|$x_i|$ αi=C${\alpha }_i=C$ }$\}$
其中 g(xi)=∑Nj=1αjyjK(xj,xi)+b$g(x_i)=\sum _{j=1}^N{\alpha }_j{y}_{j}K(x_j,x_i)+b$
若不满足，则选取该点，若支持向量全部满足，则遍历其他非支持向量，直到找到不满足该KKT条件为之
对于第一个变量 α(k)2${\alpha }_2^{(k)}$ ，则采用以下策略：
若对于第一个变量α(k)1${\alpha }_1^{(k)}$ 对应的E1>0$E_1>0$ ,则选取使得 E2$E_2$ 最小的点 ，
若对于第一个变量α(k)1${\alpha }_1^{(k)}$ 对应的E1<0$E_1<0$ ,则选取使得 E2$E_2$ 最大的点 ，
其目的，使得 αnew2${\alpha }_2^{new}$ 依赖于 E1−E2$E_1-E_2$ , 则去使得E1−E2$E_1-E_2$最大（加快计算）的点

其中 Ei=g(xi)−yi={∑Nj=1αjyjK(xj,xi)+b}−yi$E_i=g(x_i)-y_i=\{\sum _{j=1}^N{\alpha }_j{y}_{j}K(x_j,x_i)+b\}-y_i$
2.2 二次规划求解： 对于选取的第一个变量
其中，原始为剪辑的值为，


剪辑之后得到第一个变量的解：

于此同时，由 αold1∗y1+αold2∗y2=ε=αnew1∗y1+αnew,clipped2∗y2${\alpha }_1^{old}\ast y_1+{\alpha }_2^{old}\ast y_2=\epsilon ={\alpha }_1^{new}\ast y_1+{\alpha }_2^{new,clipped}\ast y_2$
可得到第二个变量的解：
αnew1=αold1+y1∗y2(αold2−αnew,clipped2)${\alpha }_1^{new}={\alpha }_1^{old}+y_1\ast y_2({\alpha }_2^{old}-{\alpha }_2^{new,clipped})$
基于以上的算法，可以得到最优解 α(k+1)1${\alpha }_1^{(k+1)}$ α(k+1)2${\alpha }_2^{(k+1)}$
3. 若在精度范围内所有点都满足KKT条件，则跳转（3），否则转（2）
4. 取 α^=α(k+1)$\hat{\alpha }={\alpha }^{(k+1)}$