数据挖掘-分类-随机森林

1. 随机森林由决策树组成,这些决策树是随机的,随机性由随机选择属性、数据决定。由于这个特点，这些决策树也叫随机决策树。随机性可以避免过分拟合。
2. 测试数据进入随机森林时，实质是由一个个决策树进行分类，最后的类别由这些决策树的输出的众数决定。

3. ID3、C4.5算法的区别是，ID3处理离散值，C4.5处理连续值

4. 某个属性的信息增益越大，说明这个属性越重要。

5. 随机森林构造过程:

　　5.1如果数据集包含N条数据,则随机有放回的选择N个样本.这是决策树随机性的一个保证.

　　5.2当有M个属性时，在决策树每次需要分裂时，从M个属性中随机选择m个属性（m<<M）.在这m个属性中，选择一种策略进行分裂（信息增益），决定进行分裂的属性。

　　5.3每个节点都进行重复步骤2的分裂，直到得到叶子节点。整个过程没有进行剪枝。这样建立起一棵决策树。

　　5.4重复步骤1~3,建立随机森林。

 

随机森林有两个参数需要人工干预：

1.树的数量，一般为一个很大的值。百~千。

2.m，应为一个远小于M的值。一些文章中提到，m为M的均方根，一个值的均方根不是自己嘛？

(http://en.wikipedia.org/wiki/Random_forest#From_bagging_to_random_forests

Typically, for a dataset with p features, √p features are used in each split.

m为M的方差)

TODO：ID3、C4.5