lecture 6 : SVM Intro

在构建线性分类器的时候，我们希望找一个决策边界将 positive examples 和 negative examples 较好地分开。对于一个 example, 我们希望分类的时候尽可能 correct (归到正确的一边) and confident (离决策边界尽可能远)。这就是 baby SVM 的 motivation。

在 SVM 中我们不延续之前的习惯，用 +1 和 -1 来表示正负例标签, 最后不输出概率, 而是输出 \(sign(w^Tx + b)\)

用 \(b\) 表示线性函数中的截距，\(w\) 表示其他参数，我们希望的是, 当 \(y= 1\) (positive)，\(w^Tx + b >> 0\), 当 \(y = -1\), (negative examples), \(w^Tx + b << 0\) , 综上，我们可以定义一个衡量这种correct and confident 的标准，functional margin:

\[\hat\gamma^{(i)} = y^{(i)}(w^Tx^{(i)} + b) \]

而对于真个数据集的 functional margin:

\[\hat\gamma = min_{i = 1,...,m} \quad \hat\gamma^{(i)} \]

然而 functional margin 的一个问题是，当我们同时缩放 \(w, b\), 实际上的决策边界是没有改变的，但是 functional margin 却改变了。

另一个角度是从几何意义来考虑一次预测的好坏，一个分类正确的样本，它离决策边界越远，一般可以认为这次预测较为 correct and confident, 基于此，我们定义 geometric margin \(\gamma\)

\[\gamma^{(i)} = \frac{y^{(i)}(w^Tx^{(i)} + b) }{||w||} \]

同样地，对于整个数据集,

\[\gamma = min_{i = 1,...,m}\quad \gamma^{(i)} \]

geometric margin 解决了 functional margin 关于同时缩放 \(w, b\) 带来的问题。

因此 SVM 求解的目标就是:

\[max_{w,b}\quad \gamma \]

\[s.t. \gamma^{(i)} \ge \gamma \]

然而这并不是一个凸优化问题，我们将问题改写

\[max_{w,b} \quad \frac{\hat\gamma}{||w||}\\ s.t.\hat\gamma^{(i)}\ge \hat\gamma \]

由于 functional margin 的取值可通过 rescaling 来调整，并不影响问题的求解，因此可以让 \(\hat\gamma = 1\), 进一步问题可以化为在约束下最小化 \(\frac{1}{||w||}\)， 这等价于:

\[\min_{w,b} \frac{1}{2}||w||^2\\ s.t. \hat\gamma^{(i)}\ge \hat\gamma \]

这是一个凸优化问题。