《李沐实用机器学习之5.3 Boosting》

ppt: https://c.d2l.ai/stanford-cs329p/_static/pdfs/cs329p_slides_7_3.pdf

视频：https://www.bilibili.com/video/BV1aM4y1P7z9/?spm_id_from=pageDriver&vd_source=2ed6e8af02f9ba8cb90b90e99bd4ccee

思想：把多个弱模型组合在一起变成一个强模型。

主要目的：降低偏差。

学习：

• 按顺序的学习 n 个模型。每次在时间 i 步时，会训练一个 弱模型 \(h_i\), 评估它的误差 \(ϵ_t\).

• 根据当前的误差 \(ϵ_t\)，重采样数据，使得下一个模型关注预测不正确的样本。

代表算法：AdaBoost、Gradient Boosting

下面介绍 Gradient Boosting

待续