## 最大间隔分类器

$y(\mathbf{x})=\mathbf{w}^T\phi(\mathbf{x})+b$

$arg\hspace{2 pt}\max_{\mathbf{w}, b}\{\frac{1}{\|\mathbf{w}\|}\min_{n}[t_n(\mathbf{w}^T\phi(\mathbf{x})+b)] \} \tag{1}$

$t_ny(\mathbf{w})=t_n(\mathbf{w}^T\phi(\mathbf{x})+b)\ge1, n=1,...,N$

$arg\hspace{2 pt}\min_{\mathbf{w}}\frac{1}{2}\|\mathbf{w}\|^2 \tag{2}$

$s.t.t_ny(\mathbf{w})=t_n(\mathbf{w}^T\phi(\mathbf{x})+b)\ge1, n=1,...,N$

## 对偶问题

$L(\mathbf{w}, b, \mathbf{a})=\frac{1}{2}\|\mathbf{w}\|^2 - \sum_{n=1}^Na_n\{t_n(\phi(\mathbf{x})+b)-1\}\tag{3}$

$\mathbf{w}=\sum_{n=1}^Na_nt_n\phi(\mathbf{x}_n)$

$0=\sum_{n=1}^Na_nt_n$

$\tilde{L}(\mathbf{a})=\sum_{n=1}^Na_n=\frac{1}{2}\sum_{n=1}^N\sum_{m=1}^Na_na_mt_nt_mk(\mathbf{x}_n, \mathbf{x}_m)\tag{4}$

$a_n\ge0, n=1,...,N$

$\sum_{n=1}^Na_nt_n=0$

$y(\mathbf{x})=\sum_{n=1}^Na_nt_nk(\mathbf{x}, \mathbf{x}_n)+b\tag{5}$

$t_n\left(\sum_{m\in S}a_mt_mk(\mathbf{x}_n, \mathbf{x}_m) +b\right)=1$

$b=\frac{1}{N_S}\sum_{n\in S}\left(t_n-\sum_{m\in S}a_mt_mk(\mathbf{x}_n,\mathbf{x}_m)\right)$

## 非线性可分情况

$t_ny(\mathbf{x}_n)\ge 1-\xi_n, n=1,..., N, \xi_n\ge 0$

$C\sum_{n=1}^N\xi_n + \frac{1}{2}\|\mathbf{w}\|^2$

$t_ny(\mathbf{x}_n)\ge 1-\xi_n, n=1,..., N$

$\xi_n\ge 0$

$L(\mathbf{w}, b, \mathbf{a})=\frac{1}{2}\|\mathbf{w}\|^2+C\sum_{n=1}^N\xi_n - \sum_{n=1}^Na_n\{t_ny(\mathbf{x})n)-1 | \xi_n\} -\sum_{n=1}^N\mu_n\xi_n$

$\mathbf{w}=\sum_{n=1}^Na_nt_n\phi(\mathbf{x}_n)$

$\sum_{n=1}^Na_nt_n=0$

$a_n=C-\mu_n$

$\tilde{L}(\mathbf{a})=\sum_{n=1}^Na_n-\frac{1}{2}\sum_{n=1}^N\sum_{m=1}^Na_na_mt_nt_mk(\mathbf{x}_n, \mathbf{x}_m)\tag{6}$

$0\le a_n\le C\tag{7}$

$\sum_{n=1}^Na_nt_n=0$

$a_n=C$则表示该点可能被正确分类但是落在margin之内$\xi_n\le1$, 也会被错误分类$\xi_n>1$

## SMO算法

Platt提出了一种快速的优化$(6)$的算法, SMO.

$a_1y_1=-\sum+{i=2}^Na_iy_i$

SMO每次优化两个参数, 假设为$a_1, a_2$, 固定所有其他参数, 则

$a_1y_1+a_2y_2=\sum_{i=3}a_iy_i=\xi$

$a_1$可以写作$a_2$的函数

$a_1=(\xi-a_2y_2)y_1$

$a_2^{new}=\begin{cases}H & a_2^{new, unclipped} > H \\ a_2^{new, unclipped} & if L \le a_2^{new, unclipped} \le H \\ L & a_2^{new, unclipped} < L\end{cases}$

posted on 2015-01-31 23:03  潘的博客  阅读(241)  评论(0编辑  收藏

• 随笔 - 69
• 文章 - 0
• 评论 - 62
• 引用 - 0