1. 机器学习技法-- Linear Support Vector Machine

Lecture 1：Linear Support Vector Machine

1.1 Course Introduction

本系列课程分为 3  个部分：

1）支持向量机

2）集成学习

3） 隐特征相关的 Deep Learning

1.2 Large-Margin Separating Hyperplane

在《基石》课程中我们学习过 感知器。对于线性可分的训练集，虽然感知器未必能计算出最佳的结果。如图 1-1 所示，我们最想要的是 large-Margin 分割线

                     图  1-1  Three Different Separating Hyperplane 

对于线性可分数据， linear support vector machine 就是求 large-margin separating hyperplane 对应的模型。直观上来看 large-margin hyperplane 的效果最好。有趣的是，我之前一直把 large-margin 这个词和 svm 关联起来，认为 large-margin 只用于描述 svm 特性。其实 largin-margin 表明这个模型比较好，使用其它的算法得出的好模型也具有 large-margin 特性。 如下图 1-2 所示，

                    图 1-2 随机森林随着树棵数的增加分类边界的变化

应该还有其它的 ”large-margin“ 没被发现，我还要努力！

 

1.3 Standard Large-Margin Problem

1.4 Support Vector Machine

1.5 Reasons behind Large-Margin Hyperplane

现在我们来思考一下 large-margin hyperplane 是最好的分界平面的原因，第一是有更大的噪声容忍度， 第二 VC Dimension 更低，如图 1-3 所证明（越胖的线的 hypothesis 越少）

                                             图 1-3 

linear support vector machine 还有一个有趣的特性（在《基石》笔记已经贴过了）， 如图 1-4 所示

                                               图 1-4 

后续学习 Soft-Margin SVM 会碰到一个类似的有趣特性，如图 1-5 所示

                                    图 1-5

 

我们通过寻找 large-margin hyperplane 来获得最好的模型，large-margin hyperplane 具备抗噪声同时减少了 VC Dimension。

对于线性不可分的数据，我们会采用 feature transformation ，即将数据从 x-space 映射到高位 z-space 。但是这种方法有一个缺陷，即泛化能力不好。受本节内容启发，我们可以考虑用 large-margin 来增加模型的抗噪声和降低 VC Dimension。最终我们的方法如图 1-6 所示

                                                图 1-6

题外话