机器学习笔记(8) —— 集成方法

sklearn 中的 AdaBoost

在 sklearn 中建立 AdaBoost 模型与建立其他模型相同。你可以使用 scikit-learn 的AdaBoost Classifier类。该类提供函数来定义你的模型，并将模型与数据进行拟合。

fromsklearn.ensembleimportAdaBoostClassifier

model = AdaBoostClassifier()

model.fit(x_train, y_train)

model.predict(x_test)

在上面的例子中，model变量是一个决策树模型，它与数据x_values和y_values进行拟合。函数fit和predict的功能与之前相同。

超参数

当我们定义模型时，我们可以确定超参数。在实际操作中，最常见的超参数为：

• base_estimator: 弱学习器使用的模型（切勿忘记导入该模型）。
• n_estimators: 使用的弱学习器的最大数量。

比如在下面的例子中，我们定义了一个模型，它使用 max_depth 为 2 的决策树作为弱学习器，并且它允许的弱学习器的最大数量为 4。

fromsklearn.treeimportDecisionTreeClassifier

model = AdaBoostClassifier(base_estimator = DecisionTreeClassifier(max_depth=2), n_estimators =4)

AdaBoost 上的学习资源

如果你学有余力，希望了解更多，这里有一些 AdaBoost 的优秀资源，推荐给你：

• 这是一篇由 Freund 和 Schapire 合著的原始论文。
• 由 Freund 和 Schapire 合著的关于Adaboost几项实验的后续论文。
• 来自 Schapire 很棒的教程。