摘要：main idea:用adaboost类似的方法，选出g，然后选出步长 Gredient Boosting for regression： h控制方向，eta控制步长，需要对h的大小进行限制 对(x,残差)解regression，得到h 对(g(x),残差)解regression，得到eta 阅读全文

摘要：以二分类问题为例(｛-1，+1｝) adaboost步骤： 1.初始化u1=(1/N,1/N,…,1/N) 2.找到h，使最小化，记该h为g；计算作为该g的权重 3.更新ui: 4.重复2，3得到T个h，使用下列公式作为预测 理解： 1. adaboost 和 ut 数据n的权重在经过T轮更新后，正比于 每个g在该资料上做的带权重的投票 将看成是margin，则marg... 阅读全文

摘要：main idea：用与$u_t$成正比的概率sampling生成的数据集$\widetilde{D}$训练DTree；用整个数据集$D$计算weighted$\epsilon_n$，计算$g_t$的权重$\alpha_t =ln\blacklozenge t$，其中$\blacklozenge ... 阅读全文