LightGBM原理分析

LightGBM原理分析

LightGBM 是 Research Asia 的一篇实用 GBM 的 paper

在之前我介绍过 XGB 模型，这次想跟大家分享一下 LightGBM 这个模型。LightGBM 论文的标题为 A Highly Efficient Gradient Boosting Decision Tree。这说明 LightGBM 它是对于 XGB 提升性能的版本。而 LightGBM 相对于其他 GBM 来说具有相近的准确率而且是其训练速度 20 倍。

LightGBM 主要的对比对象就是 XGB，所以我们先说一下 XGB 有什么优缺点先。

优点 （详情可以看看我之前的 blog）

  • XGB 利用了二阶梯度来对节点进行划分，相对其他 GBM 来说，精度更加高。
  • 利用局部近似算法对分裂节点的贪心算法优化，取适当的 eps 时，可以保持算法的性能且提高算法的运算速度。
  • 在损失函数中加入了 L1/L2 项，控制模型的复杂度，提高模型的鲁棒性。
  • 提供并行计算能力，主要是在树节点求不同的候选的分裂点的 Gain Infomation（分裂后，损失函数的差值）
  • Tree Shrinkage，column subsampling 等不同的处理细节。

缺点

  • 需要 pre-sorted，这个会耗掉很多的内存空间（2 * #data * # features）
  • 数据分割点上，由于 XGB 对不同的数据特征使用 pre-sorted 算法而不同特征其排序顺序是不同的，所以分裂时需要对每个特征单独做依次分割，遍历次数为 #data * #features 来将数据分裂到左右子节点上。
  • 尽管使用了局部近似计算，但是处理粒度还是太细了
  • 由于 pre-sorted 处理数据，在寻找特征分裂点时（level-wise），会产生大量的 cache 随机访问。

因此 LightGBM 针对这些缺点进行了相应的改进。

  1. LightGBM 基于 histogram 算法代替 pre-sorted 所构建的数据结构，利用 histogram 后，会有很多有用的 tricks。例如 histogram 做差，提高了 cache 命中率（主要是因为使用了 leaf-wise）。
  2. 在机器学习当中，我们面对大数据量时候都会使用采样的方式（根据样本权值）来提高训练速度。又或者在训练的时候赋予样本权值来关于于某一类样本（如 Adaboost）。LightGBM 利用了 GOSS 来做采样算法。
  3. 由于 histogram 算法对稀疏数据的处理时间复杂度没有 pre-sorted 好。因为 histogram 并不管特征值是否为 0。因此我们采用了 EFB 来预处理稀疏数据。

下来我们针对这些改进来说明一下。

相对于 pre-sorted 算法，它的内存空间需要相对小很多。因为 pre-sorted 算法需要保存起来每一个特征的排序结构，所以其需要的内存大小是 2 * #data * #feature * 4Bytes（起始我认为保存排序后的数据可以用 row_id 来代替）而 histogram 只需保存离散值 bin value（EFB 会谈到 bin）而且我们不需要原始的 feature value，所以占用的内存大小为：#data * # feature * 1Byte，因为离散值 bin value 使用 uint8_t 已经足够了。另外对于求子节点相应的 feature histogram 时，我们只需构造一个子节点的 feature histogram，另外一个子节点的 feature histogram 我们用父节点的 histogram 减去刚构造出来的子节点的 histogram 便可，时间复杂度就压缩到 O(k)，k 为 histogram 的桶数。这是一个很巧妙的做差法。

其中文为梯度单边采样。大致的意思是根据样本某一特征上的单梯度作为样本的权值进行训练。其采样的方式有点巧妙：

选取前 a% 个较大梯度的值作为大梯度值的训练样本从剩余的 1 - a% 个较小梯度的值中，我们随机选取其中的 b% 个作为小梯度值的训练样本对于较小梯度的样本，也就是 b% * (1 - 1%) * #samples，我们在计算信息增益时将其放大 (1 - a) / b 倍

总的来说就是 a% * #samples + b% * (1 - a%) * #samples 个样本作为训练样本。 而这样的构造是为了尽可能保持与总的数据分布一致，并且保证小梯度值的样本得到训练。

img

GOSS 的算法流程

EFB 中文名叫独立特征合并，顾名思义它就是将若干个特征合并在一起。使用这个算法的原因是因为我们要解决数据稀疏的问题。在很多时候，数据通常都是几千万维的稀疏数据。因此我们对不同维度的数据合并一齐使得一个稀疏矩阵变成一个稠密矩阵。这里就有两个问题：1. 如何确定哪些特征用于融合且效果为较好。2. 如何将这些特征合并到一齐。

  1. 对于第一个问题，这是一个 NP-hard 问题。我们把 feature 看作是图中的点（V），feature 之间的总冲突看作是图中的边（E）。而寻找寻找合并特征且使得合并的 bundles 个数最小，这是一个

    图着色问题

    。所以这个找出合并的特征且使得 bundles 个数最小的问题需要使用近似的贪心算法来完成。

    img

    Greedy Bundling

    它将问题一换成图着色算法去解决。构建一个以 feature 为图中的点（V），以 feature 之间的总冲突为图中的边（E）

    这里说的冲突值应该是 feature 之间 cos 夹角值，因为我们是尽可能保证 feature 之间非 0 元素不在同一个 row 上

    。首先按照度来对每个点（feature）做降序排序（度数越大与其他点的冲突越大），然后将特征合并到冲突数小于 K 的 bundle 或者新建另外一个 bundle。算法的时间复杂度为 O(#feature^2)。

  2. 第二问题是将这些 bundles 中的特征合并起来。

    img

    Merge Exclusive Features

    由于每一个 bundle 当中，features 的 range 都是不一样，所以我们需要重新构建合并后 bundle feature 的 range。在第一个 for 循环当中，我们记录每个 feature 与之前 features 累积 totalRange。在第二个 for 循环当中，根据之前的 binRanges 重新计算出新的 bin value（F[j]bin[i] + binRanges[j]）保证 feature 之间的值不会冲突。这是针对于稀疏矩阵进行优化。由于之前 Greedy Bundling 算法对 features 进行冲突检查确保 bundle 内特征冲突尽可能少，所以特征之间的非零元素不会有太多的冲突。

如此一来，数据的 shape 就变成了 #samples * #bundles，且 #bundles << #features。EFB 降低了数据特征规模提高了模型的训练速度。

LightGBM 对于树的生长使用的是 Leaf-wise，而不是 Level-wise。这样的做法主要是因为 LightGBM 认为 Level-wise 的做法会产生一些低信息增益的节点，浪费运算资源。其实通常来说，Level-wise 对于防止过拟合还是很有作用的，所以大家都比较青睐与它相比与 Leaf-wise。作者认为 Leaf-wise 能够追求更好的精度，让产生更好精度的节点做分裂。但这样带来过拟合的问题，所以作者使用的 max_depth 来控制它的最大高度。还有原因是因为 LightGBM 在做数据合并，Histogram Algorithm 和 GOSS 等各个操作，其实都有天然正则化的作用，所以使用 Leaf-wise 来提高精度是一个很不错的选择。

img

img

posted @ 2020-05-07 00:57  别再闹了  阅读(1029)  评论(0)    收藏  举报