摘要： 特征选择顾名思义就是从众多特征中选出和目标相关的特征，它是机器学习中很重要的一个环节。 子集选择与评价 从众多特征中选出部分特征构成特征的一个子集，就叫子集选择， 子集特征是否能很好地表征目标，需要对子集特征进行评价。 子集选择可以有前向搜索、后向搜索和双向搜索三种方式。 前向搜索 假定给定特征集{ 阅读全文

摘要： 先看下ababoost和决策树效果对比 输出学习曲线 分析：随着样本数的增加，单决策树的预测精度稳定在0.5左右，是个弱分类器，而adaboost预测精度在0.85左右，明显高于单决策树，是个强分类器。 参数选择 上面的模型使用的是默认参数，其实还有优化的空间。 在集成学习中，参数调优一般是先选择框 阅读全文

摘要： sklearn中实现了adaboost分类和回归，即AdaBoostClassifier和AdaBoostRegressor， AdaBoostClassifier 实现了两种方法，即 SAMME 和 SAMME.R AdaBoostRegressor 用的 Adaboost.R2 框架参数 分类与 阅读全文

摘要： Adaboost 中文名叫自适应提升算法，是一种boosting算法。 boosting算法的基本思想 对于一个复杂任务来说，单个专家的决策过于片面，需要集合多个专家的决策得到最终的决策，通俗讲就是三个臭皮匠顶个诸葛亮。 对于给定的数据集，学习到一个较弱的分类器比学习到一个强分类器容易的多，boos 阅读全文