adaboost

前面介绍了几种不同的分类算法，它们各有优缺点，我们可以将不同的分类器组合起来，这种组合的结果被称为集成方法(ensemble method）或者元算法(meta-algorithm)。使用集成方法时会有多种形式：可以是不同算法的集成，也可以是同一算法在不同设置下的集成，还可以是数据集不同部分分配给不同分类器之后的集成。

adaboost的优缺点

优点：泛化错误率低，易编码，可以应用在大部分分类器上，无参数调整。

缺点：对离群点敏感。

适用数据类型：数值型和标称型数据。

 

原理

简单的说，多个弱分类器训练成为一个强分类器，将一系列的弱分类器以不同的权重比组合作为最终分类选择。

计算过程

1. 初始化基础权重；
2. 奖权重矩阵，通过已的分类器计算错误率，选择错误率最低的为最优分类器；
3. 通过分类器权重公式，减少正确样本分布，增加错误样本分布，得到新的权重矩阵和当前k轮的分类器权重；
4. 将新的权重矩阵，带入上面的步骤2和3，重新计算权重矩阵；
5. 迭代N轮，记录每一轮的最终分类器权重，得到强分类器。

比喻说明

1. 利用错题提升学习效率

   做正确的题，下次少做点，反正都会了；

   做错的题，下次多做点，集中在错题上；

   随着学习的深入，做错的题会越来越少。

2. 合理跨界提高盈利

   苹果公司，软硬结合，占据了大部分的手机市场利润，两个领域的知识结合起来产生新收益。

参考资料：

1、机器学习实战

2、https://www.cnblogs.com/chenqionghe/p/12301905.html