摘要：
一.利用回归树实现分类 分类也可以用回归树来做，简单说来就是训练与类别数相同的几组回归树，每一组代表一个类别，然后对所有组的输出进行softmax操作将其转换为概率分布，然后再通过交叉熵或者KL一类的损失函数求每颗树相应的负梯度，指导下一轮的训练，以三分类为例，流程如下： 二.softmax+交叉熵 阅读全文
摘要：
一.简介 上一节已经介绍了提升树的算法流程，这一节只需要将下面的优化过程替换成求解具体的梯度即可： \[ w_m^*=arg\min_{w_m}\sum_{i=1}^NL(y_i,f_{m-1}(x_i)+T(x_i,w_m)) \] 下面介绍一下常用的损失函数及其对应的负梯度 （1）损失平方误差： 阅读全文
摘要：
简介 提升树与adaboost类似，也是boosting算法，它同样基于如下两点进行构建： （1）训练方法：前向分步算法，根据前面树的结果对当前树进行调整训练，以提高精度 （2）组合方法：基于树的加法模型，可以表示如下： \[ f_M(x)=\sum_{i=1}^MT(x,w_m) \] 这里，$T 阅读全文