Machine Learning Techniques -2-Dual Support Vector Machine

 2-Dual Support Vector Machine

在实际问题中，我们可能需要映射变换来做出特殊形状的分界线，这种维度的增加常常会使得二次规划问题面临挑战。

这里有很多数学性很强的的过程，需要参考最优化书籍。

首先总体思路，先要将一个有条件的最优化问题转化为无条件的，利用了拉格朗日的项

在新构建式子中，对内α求取最大的取值条件，对外则对b,w参数求取最小条件。

如果有违反之前限制的b,w被选择，会导致优化结果中α 的值趋向无穷。

这样子，从另一种角度实现了约束条件。

接着，我们对上边的问题求对偶问题，对内求最小，对外求最大：

转化为右侧最优化的好处是先进行的对b,w的讨论变成了无约束的讨论。

在满足条件：1凸问题2原问题有解3线性约束 的时候左右可以取等。

如果我们进一步希望简化问题，会发现在无约束极值可取的时候，一定有内部对b导数=0，α*yn = 0 由此分析展开的多项式，也可以简化。

同理，对w进行类似于b的简化：

问题得到了进一步的简化，这就是KKT的条件。

 

同理，我们化为标准的二次形式：

需要注意的是，q矩阵一般在N 很大的时候需要大量的存储空间，所以为SVM设计的二次型一般会利用特殊的约束条件简化运算。

我的其实这里得到的就是在边界上的那些点，也就是所谓的support vectors.

其实我们最终得到的W就是α，yn， zn的一种线性组合，这与PLA是相类似的：

 

 

SVM ： 将W用SV表示出来~~至此，我们似乎已经达到了在这一节中最初的要求，但仍然还存在一个计算成本的问题：

我们看到变换后的d可能是一个很大的值，这使得一定尺度下的操作因为q矩阵的计算而可能无法进行。这是下一部分需要去解决的问题。