摘要：
决策树的思想比较简单，不复杂，决策树，就是通过一个属性将数据进行划分，而这个属性的选择也就是决策树的关键，用什么样的属性分开的值尽可能属于同一个类别。属性选择的方法很多，书中主要介绍了：通过信息增益、增益比率、以及基尼指数.具体伪代码书中给出：本文采用了ID3算法划分数据集。该算法采用了一个叫信息增益的概念，关于信息论的部分，曾经写过一文http://www.cnblogs.com/fengbing/archive/2011/12/15/2288801.html中有部分阐述。我的理解就是，信息是什么，怎么度量，也就是信息经过压缩之后还能代表本身的最小值，这个可以根据霍夫曼编码看出。具体说明：考 阅读全文
