11.机器学习技法--GBDT

Lecture 11：Gradient Boosted Decision Tree

11.1 Adaptive Boosted Decision Tree

      RF 是 uniform blend  C&RT 树算法， C&RT 树其它 blending 该怎么做？ 比如 Adaboost DT （Adaboost Stump 是种 special Adaboost DT）

      没听懂这一节，图 11-1 sampling 怎么能等效等价为 adaptive boost 中的 权重呢？

                       图 11-1 令人费解的 sampling ！

11.2 Optimization View of AdaBoost

       在第八节的课程中我们被告知 Adaboost 性能很好，它能把 weak algorithms 变成 excellent algorithm。但是我们并不知道为什么 adaboost 为什么性能好，没有人给出一个解释。

本小节的课程就能回答这个问题。

        首先，先看一张在第八节出现的图片

                                     图  11-2

       改写一下图 11-2 中公式得到下图所示的公式

                                     图 11-3

 

好吧，不写了。数学证明，怎么写啊！！！

11.3 Gradient Boosting

     不写了，复杂！！ 从残差的角度来想会很容易。

 

11.4 Summary of Aggregation Models

   留给明天的我把！

 

题外话：

T1： Adaptive Boosting  VS  GBDT

                                              图  T1-1     Adaboost 和 GBDT

T2： 本节很难，林老师通过 loss function 的方式将 Adaboost 和 GBDT 联系导致本节很难！

T3： 针对残差的集成方法也可以看成是 layer， layer ！！！