机器学习技法笔记（1）

一、承前启后  &&  kernel method

　　这一段话还是很重要的：1、如何处理feature很多很复杂的情况？kernel

　　　　　　　　　　　　　2、如何将多个feature联系起来使用？ boost和blend

　　　　　　　　　　　　　3、如何学习隐藏的feature？ deeplearning

　　

　　　　首先还是引出了SVM，为什么需要使用SVM呢，简单的说，因为我们要到hyperplane的距离最大，这样我们能容忍的范围就是最大的，整个算法也是robust的。

　　　　经过一些列的推导整理，大概可以先得到下面这样一个优化的问题：

　　　　

　　　　然后又是各种推导，考虑到scale已经优化方便等情况，得到：

　　　　

　　　　后面讲了一下SVM的二次规划解法，一般不是很常用，在数据少的时候能直接上QP，不过数据量好的解法后面会提到。

　　　　而hard-margin的SVM其实可以理解为在Ein=0的这个限制条件下对W进行优化，正因为增加了限制条件，也就减少了dichotomies，也就减小了VC bound，自然也就增强了算法的泛化能力。

　　　　

 

　　　　下图是相当重要的，它证明了hard-margin SVM的收敛性：