随机森林与Adaboost算法

随机森林

概念：随机森林利用随机的方式将许多决策树组合成一个森林，每个决策树在分类的时候决定测试样本的最终类别

在Bagging策略的基础上进行修改后的一种算法

 

 

从样本集中用Bootstrap采样选出n个样本；

从所有属性中随机选择K个属性，选择出最佳分割属性作为节点创建决策树；

重复以上两步m次，即建立m棵决策树；

这m个决策树形成随机森林，通过投票表决结果决定数据属于那一类

RF算法在实际应用中具有比较好的特性，应用也比较广泛，主要应用在：分类、

回归、特征转换、异常点检测等。常见的RF变种算法如下：

Extra Tree

Totally Random Trees Embedding(TRTE)

Isolation Forest

#Import Lib
From sklearn.ensemble import RandomForestClassifier
#use RandomForestRegressor for regression problem
#Assumed you have, X (predictor) and Y (target) for training data set and x_test(predictor) of test_dataset
# Create Random Forest object
model= RandomForestClassifier(n_estimators=1000)
# Train the model using the training sets and check score
model.fit(X, y)
#Predict Output
predicted= model.predict(x_test)

RF的主要优点：

1. 训练可以并行化，对于大规模样本的训练具有速度的优势；

2. 由于进行随机选择决策树划分特征列表，这样在样本维度比较高的时候，仍然具有比较高的训练性能；

3. 给以给出各个特征的重要性列表；

4. 由于存在随机抽样，训练出来的模型方差小，泛化能力强；

5. RF实现简单；

6. 对于部分特征的缺失不敏感。

RF的主要缺点：

1. 在某些噪音比较大的特征上，RF模型容易陷入过拟合；

2. 取值比较多的划分特征对RF的决策会产生更大的影响，从而有可能影响模型的效果

==随机森林参数==

3 Adaboost算法

3.1 什么是adaboost算法

基于数据集多重抽样的分类器

 Adaboost 是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器（弱分类器），然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器）

 Adaboost 算法本身是通过改变数据分布来实现的，它根据每次训练集中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据送给下层分类器进行训练，最后将每次得到的分类器融合起来，作为最后的决策分类器

• Adaptive Boosting是一种迭代算法。每轮迭代中会在新训练集上产生一个新的学习器，然后使用该学习器对所有样本进行预测，以评估每个样本的重要性 (Informative)。换句话来讲就是，算法会为每个样本赋予一个权重，每次用训练好的学习器标注/预测各个样本，如果某个样本点被预测的越正确，则将其权重降低；否则提高样本的权重。权重越高的样本在下一个迭代训练中所占的比重就越大，也就是说越难区分的样本在训练过程中会变得越重要；

• 整个迭代过程直到错误率足够小或者达到一定的迭代次数为止

• Adaboost算法将基分类器的线性组合作为强分类器，同时给分类误差率较小的基分类器以更大的权值，给分类误差率较大的基分类器以小的权重值。

3.2 Adaboost 算法核心思想

“关注”被错分的样本，“器重”性能好的弱分类器实现：

• 不同的训练集：调整样本权重

• “关注”：增加错分样本权重

• “器重”：好的分类器权重大

• 样本权重间接影响分类器权重：样本权重-分类器-性能（错误率）-分类器的权重

3.3 adaboost算法构造过程

1. 假设训练数据集​

2. 初始化训练数据权重分布

3. 使用具有权值分布Dm的训练数据集学习，得到基本分类器

4. 计算Gm(x)在训练集上的分类误差

5. 计算Gm(x)模型的权重系数αm

6. 权重训练数据集的权值分布

7. 权重归一化

8. 构建基本分类器的线性组合

adaboost参数

3.4 adaboost优缺点

Adaboost 算法优缺点

优点：

1）Adaboost 是一种有很高精度的分类器

2）可以使用各种方法构建子分类器，Adaboost 算法提供的是框架

3）当使用简单分类器时，计算出的结果是可以理解的，而弱分类器构造极其简单

4）简单，不用做特征筛选

AdaBoost的优点如下：

• 可以处理连续值和离散值；

• 解释强，结构简单。

AdaBoost的缺点如下：

• 对异常样本敏感，异常样本可能会在迭代过程中获得较高的权重值，最终影响模型效果。

3.5 Adaboost 算法应用场景

1）用于二分类应用场景

2）用于做分类任务的 baseline--无脑化，简单，不用调分类器

3）Boosting 框架用于对 badcase 的修正--只需要增加新的分类器，不需要变动原有分类器