摘要：作为支持向量机系列的基本篇的最后一篇文章，我在这里打算简单地介绍一下用于优化 dual 问题的 Sequential Minimal Optimization (SMO) 方法。确确实实只是简单介绍一下，原因主要有两个：第一这类优化算法，特别是牵涉到实现细节的时候，干巴巴地讲算法不太好玩，有时候讲出来每个人实现得结果还不一样，提一下方法，再结合实际的实现代码的话，应该会更加明了，而且也能看出理论和... 阅读全文

摘要：支持向量机: Support Vector by pluskid, on 2010-09-10, in Machine Learning 52 comments本文是“支持向量机系列”的第二篇，参见本系列的其他文章。上一次介绍支持向量机，结果说到 Maximum Margin Classifier ，到最后都没有说“支持向量”到底是什么东西。不妨回忆一下上次最后一张图：可以看到两个支撑着中... 阅读全文

摘要：支持向量机: Kernel by pluskid, on 2010-09-11, in Machine Learning 70 comments本文是“支持向量机系列”的第三篇，参见本系列的其他文章。前面我们介绍了线性情况下的支持向量机，它通过寻找一个线性的超平面来达到对数据进行分类的目的。不过，由于是线性方法，所以对非线性的数据就没有办法处理了。例如图中的两类数据，分别分布为两个圆圈的形... 阅读全文

摘要：支持向量机: Maximum Margin Classifier by pluskid, on 2010-09-08, in Machine Learning 87 comments本文是“支持向量机系列”的第一篇，参见本系列的其他文章。支持向量机即 Support Vector Machine，简称 SVM 。我最开始听说这头机器的名号的时候，一种神秘感就油然而生，似乎把 Support... 阅读全文

摘要：在上述两篇的文章中主要讲述了决策树的基础，但是在实际的应用中经常用到C4.5算法，C4.5算法是以ID3算法为基础，他在ID3算法上做了如下的改进：　1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足，公式为GainRatio(A)； 2) 在树构造过程中进行剪枝； 3) 能够完成对连续属性的离散化处理； 4) 能够对不完整数据进行处理。 C4.5算法与其它... 阅读全文

摘要：上一章主要描述了ID3算法的的原理，它是以信息熵为度量，用于决策树节点的属性选择，每次优选信息量最多的属性，以构造一颗熵值下降最快的决策树，到叶子节点处的熵值为0，此时每个叶子节点对应的实例集中的实例属于同一类。理想的决策树有三种：1.叶子节点数最少2.叶子加点深度最小3.叶子节点数最少且叶子节点深度最小。在实际的操作中还会设计到ID3算法的收敛，过度拟合等问题下面依次进行描述1.ID算法收敛2.... 阅读全文

摘要：Contents<!--more--> 1. 决策树的基本认识 2. ID3算法介绍 3. 信息熵与信息增益 4. ID3算法的C++实现 1. 决策树的基本认识 决策树是一种依托决策而建立起来的一种树。在机器学习中，决策树是一种预测模型，代表的是一种对 象属性与对象值之间的一种映射关系，每一个节点 阅读全文