摘要: 支持向量机: Support Vector by pluskid, on 2010-09-10, in Machine Learning 52 comments本文是“支持向量机系列”的第二篇,参见本系列的其他文章。上一次介绍支持向量机,结果说到 Maximum Margin Classifier ,到最后都没有说“支持向量”到底是什么东西。不妨回忆一下上次最后一张图:可以看到两个支撑着中... 阅读全文
posted @ 2016-08-20 21:11 DreamFaquir 阅读(304) 评论(0) 推荐(0) 编辑
摘要: 支持向量机: Kernel by pluskid, on 2010-09-11, in Machine Learning 70 comments本文是“支持向量机系列”的第三篇,参见本系列的其他文章。前面我们介绍了线性情况下的支持向量机,它通过寻找一个线性的超平面来达到对数据进行分类的目的。不过,由于是线性方法,所以对非线性的数据就没有办法处理了。例如图中的两类数据,分别分布为两个圆圈的形... 阅读全文
posted @ 2016-08-20 21:11 DreamFaquir 阅读(148) 评论(0) 推荐(0) 编辑
摘要: 作为支持向量机系列的基本篇的最后一篇文章,我在这里打算简单地介绍一下用于优化 dual 问题的 Sequential Minimal Optimization (SMO) 方法。确确实实只是简单介绍一下,原因主要有两个:第一这类优化算法,特别是牵涉到实现细节的时候,干巴巴地讲算法不太好玩,有时候讲出来每个人实现得结果还不一样,提一下方法,再结合实际的实现代码的话,应该会更加明了,而且也能看出理论和... 阅读全文
posted @ 2016-08-20 21:11 DreamFaquir 阅读(238) 评论(0) 推荐(0) 编辑
摘要: 在上述两篇的文章中主要讲述了决策树的基础,但是在实际的应用中经常用到C4.5算法,C4.5算法是以ID3算法为基础,他在ID3算法上做了如下的改进: 1) 用信息增益率来选择属性,克服了用信息增益选择属性时偏向选择取值多的属性的不足,公式为GainRatio(A); 2) 在树构造过程中进行剪枝; 3) 能够完成对连续属性的离散化处理; 4) 能够对不完整数据进行处理。 C4.5算法与其它... 阅读全文
posted @ 2016-08-20 21:10 DreamFaquir 阅读(4212) 评论(0) 推荐(0) 编辑
摘要: 支持向量机: Maximum Margin Classifier by pluskid, on 2010-09-08, in Machine Learning 87 comments本文是“支持向量机系列”的第一篇,参见本系列的其他文章。支持向量机即 Support Vector Machine,简称 SVM 。我最开始听说这头机器的名号的时候,一种神秘感就油然而生,似乎把 Support... 阅读全文
posted @ 2016-08-20 21:10 DreamFaquir 阅读(391) 评论(0) 推荐(0) 编辑