摘要： http://www.cnblogs.com/liqizhou/archive/2012/05/11/2496029.htmlSMO优化算法（Sequential minimal optimization）SMO算法由Microsoft Research的John C. Platt在1998年提出，并成为最快的二次规划优化算法，特别针对线性SVM和数据稀疏时性能更优。关于SMO最好的资料就是他本人写的《Sequential Minimal Optimization A Fast Algorithm for Training Support Vector Machines》了。我拜读了一下，下面 阅读全文

摘要： http://www.cnblogs.com/liqizhou/archive/2012/05/11/2495788.html3.1 线性不可以分我们之前讨论的情况都是建立在样例线性可分的假设上，当样例线性不可分时，我们可以尝试使用核函数来将特征映射到高维，这样很可能就可分了。然而，映射后我们也不能100%保证可分。那怎么办呢，我们需要将模型进行调整，以保证在不可分的情况下，也能够尽可能地找出分隔超平面。看下面两张图：可以看到一个离群点（可能是噪声）可以造成超平面的移动，间隔缩小，可见以前的模型对噪声非常敏感。再有甚者，如果离群点在另外一个类中，那么这时候就是线性不可分了。这时候我们应该允许一 阅读全文

摘要： http://www.cnblogs.com/liqizhou/archive/2012/05/11/2495689.html2 拉格朗日对偶（Lagrange duality）2.1 先抛开上面的二次规划问题，先来看看存在等式约束的极值问题求法，比如下面的最优化问题：（公式2-1） 目标函数是f(w)，下面是等式约束。通常解法是引入拉格朗日算子，这里使用来表示算子，得到拉格朗日公式为 （公式2-2） L是等式约束的个数。 然后分别对w和求偏导，使得偏导数等于0，然后解出w和。至于为什么引入拉格朗日算子可以求出极值，原因是f(w)的dw变化方向受其他不等式的约束，dw的变化方向与f(w)的梯度 阅读全文

摘要： http://www.cnblogs.com/liqizhou/archive/2012/05/11/2495537.htmlSVM是支持向量机从诞生至今才10多年，发展史虽短，但其理论研究和算法实现方面却都取得了突破性进展，有力地推动机器学习理论和技术的发展。这一切与支持向量机具有较完备的统计学习理论基础的发展背景是密不可分的。我看了一下网上的帖子和有关的资料，目前关于SVM大约有3到4个版本，但在网上到处都是转载的内容，最后谁叶不知原稿人是谁。svm主要分有4个问题 1.问题的提出 2.拉格朗日对偶问题。 3.核函数问题。 4.二次规划问题。1.问题的提出支持向量机基本上是... 阅读全文