摘要：
支持向量机: Support Vector by pluskid, on 2010-09-10, in Machine Learning 52 comments本文是“支持向量机系列”的第二篇，参见本系列的其他文章。上一次介绍支持向量机，结果说到 Maximum Margin Classifier ，到最后都没有说“支持向量”到底是什么东西。不妨回忆一下上次最后一张图：可以看到两个支撑着中... 阅读全文
摘要：
支持向量机: Kernel by pluskid, on 2010-09-11, in Machine Learning 70 comments本文是“支持向量机系列”的第三篇，参见本系列的其他文章。前面我们介绍了线性情况下的支持向量机，它通过寻找一个线性的超平面来达到对数据进行分类的目的。不过，由于是线性方法，所以对非线性的数据就没有办法处理了。例如图中的两类数据，分别分布为两个圆圈的形... 阅读全文
摘要：
作为支持向量机系列的基本篇的最后一篇文章，我在这里打算简单地介绍一下用于优化 dual 问题的 Sequential Minimal Optimization (SMO) 方法。确确实实只是简单介绍一下，原因主要有两个：第一这类优化算法，特别是牵涉到实现细节的时候，干巴巴地讲算法不太好玩，有时候讲出来每个人实现得结果还不一样，提一下方法，再结合实际的实现代码的话，应该会更加明了，而且也能看出理论和... 阅读全文
摘要：
在上述两篇的文章中主要讲述了决策树的基础，但是在实际的应用中经常用到C4.5算法，C4.5算法是以ID3算法为基础，他在ID3算法上做了如下的改进： 1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足，公式为GainRatio(A)； 2) 在树构造过程中进行剪枝； 3) 能够完成对连续属性的离散化处理； 4) 能够对不完整数据进行处理。 C4.5算法与其它... 阅读全文
摘要：
支持向量机: Maximum Margin Classifier by pluskid, on 2010-09-08, in Machine Learning 87 comments本文是“支持向量机系列”的第一篇，参见本系列的其他文章。支持向量机即 Support Vector Machine，简称 SVM 。我最开始听说这头机器的名号的时候，一种神秘感就油然而生，似乎把 Support... 阅读全文