摘要：背景 之前所讨论的SVM都是非常严格的hard版本，必须要求每个点都被正确的区分开。但是，实际情况时很少出现这种情况的，因为噪声数据时无法避免的。所以，需要在hard SVM上添加容错机制，使得可以容忍少量噪声数据。 "软"化问题 软化SVM的思路有点类似正规化，在目标函数添加错误累加项，然后加一个系数，控制对错误的容忍度，并且在约束中添加错误容忍度的约束，形式如下： 现... 阅读全文

摘要：背景 上一讲从对偶问题的角度描述了SVM问题，但是始终需要计算原始数据feature转换后的数据。这一讲，通过一个kernel（核函数）技巧，可以省去feature转换计算，但是仍然可以利用feature转换的特性。 什么是kernel Kernel的其实就是将向量feature转换与点积运算合并后的运算，如下， 概念上很简单，但是并不是所有的feature转换函数都有kernel的... 阅读全文

摘要：背景 上一篇文章总结了linear hard SVM，解法很直观，直接从SVM的定义出发，经过等价变换，转成QP问题求解。这一讲，从另一个角度描述hard SVM的解法，不那么直观，但是可以避免feature转换时的数据计算，这样就可以利用一些很高纬度（甚至是无限维度）的feature转换，得到一些更精细的解。 拉格朗日乘子式 首先，回顾一下SVM问题的定义，如下： 线性约束... 阅读全文

摘要：背景 支持向量机（SVM）背后的数学知识比较复杂，之前尝试过在网上搜索一些资料自学，但是效果不佳。所以，在我的数据挖掘工具箱中，一直不会使用SVM这个利器。最近，台大林轩田老师在Coursera上的机器学习技法课程上有很详细的讲授SVM的原理，所以机会难得，一定要好好把握这次机会，将SVM背后的原理梳理清楚并记录下来。这篇文章总结第一讲linear hard SVM的相关内容。 最... 阅读全文