机器学习_第八篇_集成学习

集成学习（Ensemble Learning）的思路很直接：与其死磕单个模型的天花板，不如训练一群各有所长的基学习器，再用投票、平均或加权把它们的输出捏合到一起，用集体决策压过单个模型的失误。

所谓学习器（learner），就是能从训练数据里学出“输入 → 输出”映射的单个模型——线性回归、决策树、神经网络都算。集成里常说的“基学习器（base learner）”，指的就是被拿来组合的那些单个模型。本文主线 Boosting 一脉，基学习器几乎清一色是决策树（CART）：它够简单、可解释，而且对损失做二阶泰勒展开后，分裂增益能解析算出来——这正是 XGBoost 们能高效训练的底子。

这里有个被反复强调却常被忽略的前提：集成的收益来自基学习器之间的多样性（diversity）。如果 N 个模型犯的是一模一样的错，投 N 次票和投 1 次没区别。所以集成学习真正要解决的，是怎么造出"错得不一样"的一批模型——Bagging 靠样本扰动，Boosting 靠串行纠错，Stacking 靠异构模型，殊途同归。

0. 三大集成范式：Bagging / Boosting / Stacking

三者都在"造差异 + 做组合"，但差异从哪来、结果怎么合，路子完全不同：

graph LR subgraph BG[Bagging · 并行独立] direction TB BS((Bootstrap 采样)) --> BM1[基学习器 1] BS --> BM2[基学习器 2] BS --> BM3[基学习器 N] BM1 --> BV[平均 / 投票] BM2 --> BV BM3 --> BV end subgraph BO[Boosting · 串行纠错] direction TB BO1[树1 拟合残差] --> BO2[树2 拟合残差] BO2 --> BO3[树3 ...] BO3 --> BOW[加权求和] end subgraph ST[Stacking · 分层异构] direction TB ST1[异构模型 A] --> STM[元学习器] ST2[异构模型 B] --> STM ST3[异构模型 C] --> STM STM --> STO[最终预测] end

Bagging（Bootstrap Aggregating）

• 是什么：对训练集做有放回重采样（Bootstrap），造出 N 个略有差异的训练子集，各自独立训一个基学习器，最后用平均（回归）或投票（分类）合并。代表是随机森林。
• 解决什么痛点：单棵决策树对训练样本极度敏感，方差大、换个训练集就变样。Bagging 用"多模型平均"把方差摊薄——数学上，N 个相关性为 ρ、方差同为 σ² 的模型，集成后方差约为 ρσ² + (1−ρ)σ²/N；N 越大、模型间越独立，方差越低。
• 什么时候用：数据噪声大、单模型易过拟合、你更看重稳定而非极致精度时。它天然并行，训练也快。

Boosting

• 是什么：串行训练。第一棵树拟合数据，第二棵树专门拟合第一棵的残差，第三棵再拟合第二棵的残差……每加一棵树都在修正前人犯过的错，最终所有树加权求和。本文主线即此。
• 解决什么痛点：Bagging 各模型平权、旧错没人补，只能降方差、不降偏差。Boosting 把"纠错"变成训练机制，从偏差侧逼近强学习器，连弱学习器都能逐步榨出强性能。
• 什么时候用：你追求预测精度上限、愿意为训练时间买单时（Kaggle 高频夺冠方案几乎都在这一支）。但它串行、对异常值敏感（尤其 AdaBoost），需要仔细调参和早停。

Stacking（Stacked Generalization）

• 是什么：训练若干异构基学习器（比如 LR + 树 + 神经网络各来一个），再用一个"元学习器（meta-learner）"学习怎么把它们的输出组合得最好。基学习器在训练集上做交叉验证式预测，这些预测当作元学习器的输入特征。
• 解决什么痛点：Bagging / Boosting 都在"同质模型 + 固定组合规则（平均/加权）"里打转。Stacking 用另一个模型来学组合方式，能捕捉基学习器之间非线性、互补的关系，把不同模型的优势揉成一团。
• 什么时候用：单一模型族已到顶、你手里有多个强但各有所长的模型、且愿意为复杂流程付工程成本时。它最灵活也最易过拟合（元学习器容易记住基学习器的输出），实践中要靠交叉验证防泄漏。

选型：要稳、要快、数据吵 → Bagging；要精度、要榨干弱模型 → Boosting；手里有多个各有所长的模型要揉成一团 → Stacking。本文主线锁定 Boosting——后面会看到，今天的三大工业级实现全是它的后代。

1. 为什么需要集成

单模型要么偏差高（欠拟合），要么方差高（过拟合）。把多个弱学习器组合起来，正是要把整体推向偏差与方差更优的帕累托前沿。

这里的「帕累托前沿（Pareto frontier）」借自多目标优化：偏差和方差是一对互相拉扯的目标——压低一方往往会抬高另一方，不存在让两者同时取到各自最小值的单点解。把所有"再改善任一方都必须以恶化另一方为代价"的模型点连成的边界，就是偏差-方差平面上的帕累托前沿。集成的野心不是消灭偏差或方差，而是往这条边界上更优的位置挪：用更小的方差代价换到更低的偏差（Boosting 一脉），或用更小的偏差代价换到更低的方差（Bagging 一脉）——两者都在这条前沿上挑更合用的点，而非跳出它。

1.1 集成为什么能赢，又是不是必胜

把"造差异 + 做组合"说清楚，最好用量化视角。以回归取平均为例：假设 N 个模型各自预测误差为 \(e_1,\dots,e_N\)，单个方差都是 \(\sigma^2\)，任意两个误差的相关系数为 \(\rho\)。集成取平均后的误差方差是：

\[\operatorname{Var}\!\left(\frac{1}{N}\sum_{i=1}^{N} e_i\right)=\sigma^2\left[\rho+\frac{1-\rho}{N}\right] \]

关键在 \(\rho\)：\(\rho\) 越低（模型错得越不一样）、N 越大，集成方差越接近 \(\rho\sigma^2\)，相对单模型的 \(\sigma^2\) 压得越狠。这正是"造差异"的物理意义——没有多样性（\(\rho\to 1\)），加再多模型方差都停在 \(\sigma^2\)，白忙活。

分类场景更直观：若每个分类器独立、且单类错误率 \(p<0.5\)，多数投票的错误率随 N 增大指数级趋于 0（大数定律）。但这是理想独立假设，真实模型误差高度相关，增益远没那么夸张。

所以"集成一定更优"是错的，它有三个硬前提：

1. 个体不能太差：基学习器得稳定好于随机（\(p<0.5\) 量级）。单个模型本身比瞎猜还烂，平均只会把噪声叠加得更"稳"。
2. 得真有多样性：差异是增益的来源。N 个完全一样的模型（\(\rho=1\)）集成等于没集成；相关性越高，增益越薄。
3. 组合本身别过拟合：Stacking 的元学习器、Boosting 的过多轮数，都可能把"组合"训成过拟合记忆，反而比单模型差。

简言之：集成是把"多个弱相关错误"摊平的工程手段，不是魔法；增益上限由多样性 \((1-\rho)\) 决定，前提是个体和组合都不能崩。

上面三类范式中，Bagging 主攻方差、Stacking 主攻模型多样性的复用，而 Boosting 主攻偏差——它用串行纠错一步步把弱模型推向强模型，是本文的主线。后文 XGBoost / LightGBM / CatBoost 全是这一支的工业级演进。

Boosting 的底层假设是：存在一系列弱学习器（准确率略高于随机），可逐步组合为强学习器。

2. 集成模型的演进

集成学习不是一蹴而就的，主线一直是"如何让基学习器更准、更快、更能扛住真实数据的脏活"。每一代的出现，都是为了填上一代没解决的坑：

• Bagging（1996, Breiman）：痛点——单棵决策树对训练样本极度敏感，方差大、换个训练集就变样。为什么进化——用 Bootstrap 重采样制造一批"错得不一样"的模型再平行投票/平均，用集体决策把方差压下来。局限是每棵树仍是独立决策树，表达力封顶，只降方差不降偏差。

• AdaBoost（1997, Freund & Schapire）：痛点——Bagging 里所有树平权，弱学习器犯过的错后续没人专门去补；而且它只解决方差，没解决偏差。为什么进化——改成串行：每轮给错分样本加权重，逼下一个模型专门去补前人的漏，从偏差角度一步步逼近强学习器。代价是指数损失对异常值极敏感，且只能绑定这一种损失。

• GBDT（2001, Friedman）：痛点——AdaBoost 把损失绑定在指数损失上，只适合二分类、换个任务（回归、排序）就废，对异常值也脆弱。为什么进化——把 Boosting 推广到任意可微损失函数，每轮用损失对当前预测的负梯度（伪残差）当拟合目标。这一跃让损失函数可以自由替换，Boosting 从"专用技巧"变成"通用框架"。

• XGBoost（2016, Chen & Guestrin）：痛点——原生 GBDT 工程朴素：每棵树要扫全量样本的所有特征、所有切分点，复杂度 \(O(\#\text{samples}\cdot\#\text{features})\)，大数据下又慢又吃内存；且分裂靠经验，过拟合不好控。为什么进化——上二阶泰勒展开，把"拟合残差"升级成"可解析推导的分裂增益"，顺手把叶子权重 L2 正则写进目标；再用近似分位数 + 列块并行把枚举成本打下来。速度和可控性一起拉满。

• LightGBM（2017, Microsoft）：痛点——XGBoost 再快，还是要逐样本枚举切分点，数据上到千万/十亿级，内存和时长就扛不住；level-wise 生长还会把算力浪费在已经够好的叶子上。为什么进化——把特征离散成固定个数的 bin，分裂搜索复杂度从样本数降到桶数；leaf-wise 只挑增益最大的叶子继续长；再叠加 GOSS（丢掉已拟合好的小梯度样本）和 EFB（捆绑互斥特征）双重降数据降维。目标很纯粹：让 GBDT 跑得动工业级大数据。

• CatBoost（2017, Yandex）：痛点——GBDT 全家桶（含 XGBoost/LightGBM）都背着两处内伤：一是预测偏移，用"看过全部标签"的模型去算梯度，梯度有偏；二是类别特征难处理，要么 one-hot 维度爆炸，要么得手动编码。两者在真实脏数据上会悄悄放大误差。为什么进化——用 Ordered Boosting（随机排列 + 只看排列前序样本）给出无偏梯度；用目标统计 + 随机排列处理类别特征。它的卖点不是更快，而是对真实脏数据更稳。

这条线的共性很直白：从"怎么组合模型、互不干扰"（Bagging/AdaBoost），到"换什么目标去拟合"（GBDT），再到"怎么算得更快、更稳、更抗脏"（XGBoost/LightGBM/CatBoost）。下面几节，就是对这条线的逐站拆解。

3. Boosting：加法模型 + 前向分步

Boosting 把最终模型写成加法形式：

\[\hat{y}^{(M)}(x) = \sum_{m=1}^{M} \nu \cdot h_m(x) \]

\(h_m\) 是第 \(m\) 棵弱学习器（通常取 CART 回归树），\(\nu\) 是收缩率（learning rate），控制每步步长以避免过拟合。

训练是前向分步的：固定已训好的 \(h_1,\dots,h_{m-1}\)，只优化当前这棵树 \(h_m\) 去拟合"剩余误差"。

不同的 Boosting 只是"拟合什么"不同：

• AdaBoost（1996）：用指数损失，每轮给错分样本加权。
• Gradient Boosting（Friedman, 1999，即 GBDT）：对任意可微损失函数做梯度下降——第 \(m\) 棵树拟合的是损失函数对当前预测的负梯度（伪残差）\(r_{im} = -\left.\frac{\partial l(y_i,\hat{y})}{\partial \hat{y}}\right|_{\hat{y}=\hat{y}^{(m-1)}}\)。

这就是现代 XGBoost / LightGBM / CatBoost 的共同起点：用回归树去拟合负梯度。三家真正的差异在工程实现、分裂算法和特征处理上。

flowchart TD A["初始模型 F₀(x)"] --> B["计算伪残差 r = -∂l/∂ŷ"] B --> C["训练弱学习器 hₘ 拟合 r"] C --> D["Fₘ(x) = Fₘ₋₁(x) + ν·hₘ(x)"] D --> E{"达到 M 棵树?"} E -- 否 --> B E -- 是 --> F["输出 F_M(x) 做预测"]

4. XGBoost：把 GBDT 变成可推导的优化

XGBoost（2016, Chen & Guestrin）的关键贡献不在于"另一个 boosting"，而在于把目标函数显式写出正则项并用二阶泰勒展开，让每一步分裂增益可解析计算。

4.1 带正则的目标函数

第 \(t\) 棵树加入后，目标为：

\[\mathcal{O}^{(t)} = \sum_{i=1}^n l\big(y_i, \hat{y}_i^{(t-1)} + f_t(x_i)\big) + \Omega(f_t) + \text{const} \]

其中叶子权重的 L2 正则 \(\Omega(f_t) = \gamma T + \frac{1}{2}\lambda \sum_{j=1}^T w_j^2\)（\(T\) 为叶子数，\(w_j\) 为叶子 \(j\) 的权重）。

4.2 二阶泰勒展开：为什么是它

它解决的痛点。原生 GBDT 每轮"用回归树拟合负梯度"，本质只是在函数空间做了一步梯度下降，并没有把"加一棵树"写成一个可优化、带正则的目标。后果有两个：分裂靠信息增益等经验准则，过拟合不好控；而且损失函数一换，分裂判据也得重新推导，没有统一形式。核心痛点是——无法解析地回答"这个分裂究竟让目标下降了多少"。

原理：在已知预测点附近做局部二阶近似。把第 \(t\) 轮看成"当前模型 \(\hat{y}^{(t-1)}\) 已知，要找一个增量 \(f_t\) 加进去"。对损失在 \(\hat{y}^{(t-1)}\) 处做泰勒展开，本质上就是牛顿法：用二阶信息估计"往哪个方向、迈多大步，目标下降最多"。

推导。单样本损失在 \(\hat{y}^{(t-1)}\) 处展开到二阶（记 \(x=\hat{y}^{(t-1)}\)，\(\Delta x = f_t(x_i)\)）：

\[l\big(y_i, \hat{y}^{(t-1)} + f_t(x_i)\big) \approx l(y_i,\hat{y}^{(t-1)}) + \underbrace{\left.\frac{\partial l}{\partial \hat{y}}\right|_{\hat{y}^{(t-1)}}}_{g_i} f_t(x_i) + \frac{1}{2}\underbrace{\left.\frac{\partial^2 l}{\partial \hat{y}^2}\right|_{\hat{y}^{(t-1)}}}_{h_i} f_t^2(x_i) \]

代入 4.1 的目标，丢掉与 \(f_t\) 无关的常数项 \(l(y_i,\hat{y}^{(t-1)})\)，得到：

\[\mathcal{O}^{(t)} \approx \sum_{i=1}^n \left[ g_i f_t(x_i) + \frac{1}{2} h_i f_t^2(x_i) \right] + \Omega(f_t) \]

\(g_i\)、\(h_i\) 就是损失对当前预测的一阶、二阶梯度——任意可微损失都能通过这两个数喂进来。

作用与收益。这一步把"加一棵树"从模糊的"拟合残差"变成了一个关于 \(f_t\) 的二次优化问题：因为目标现在是 \(f_t\) 的二次函数（再叠加树结构正则），就可以对叶子权重 \(w_j\) 直接求偏导、令为零，得到解析最优权重（见 4.3 的 \(w_j^*\)），进而得到解析分裂增益（4.3 的 \(\text{Gain}\)）。不必像 GBDT 那样凭经验选分裂，也不用牛顿法反复迭代——一步到位。

它的收益概括为四点：

• 统一：任意损失自动给出 \(g_i,h_i\)，分裂判据收敛到同一个 \(\text{Gain}\) 公式，换损失零成本；
• 更准更快：用解析增益而非经验准则，分裂更贴合真实目标下降量，收敛更稳；
• 自带正则：L2 叶子权重与 \(\gamma\) 叶子数惩罚直接写进目标，过拟合可控；
• 二阶即牛顿步：二阶信息比一阶梯度步对尺度更不敏感、收敛更快——这正是它"有魅力"的根源：把 boosting 的每一步变成了带正则的牛顿优化。

4.3 解析最优叶子权重与分裂增益

把树写成"叶子集合 \(I_j\) + 叶子权重 \(w_j\)"后，去掉常数项，目标可化简为关于 \(w\) 的二次函数，直接求极值：

\[w_j^* = -\frac{\sum_{i\in I_j} g_i}{\sum_{i\in I_j} h_i + \lambda} \]

代入后得到分裂增益公式——这是 XGBoost 做贪心分裂的统一判据：

\[\text{Gain} = \frac{1}{2}\left[ \frac{G_L^2}{H_L+\lambda} + \frac{G_R^2}{H_R+\lambda} - \frac{(G_L+G_R)^2}{H_L+H_R+\lambda} \right] - \gamma \]

含义：分裂后左右子树的"梯度平方和/二阶导"减父节点，再减去新叶子的惩罚 \(\gamma\)。增益 > 0 才分裂。

4.4 工程优化

• 近似分裂：用分位数草图（weighted quantile sketch）把连续特征离散化，避免每棵树都全量扫描。
• 列块（Column Block）+ CSR 压缩：特征预排序后按列存，分裂时多线程并行扫描梯度统计，缓存友好。
• 缺失值处理：把缺失样本分别归到左/右子树，选增益大的方向，无需插补。
• 核外与分块：支持磁盘块缓存，处理超大数据集。

二阶信息 + 显式正则 + 预排序并行，是 XGBoost "又快又稳" 的根本原因。

5. LightGBM：Histogram + 单边梯度采样

LightGBM（Microsoft, 2017）的出发点是：GBDT 的瓶颈在特征分裂的枚举成本。它从算法层面把复杂度压下来。

5.1 Histogram 算法

是什么。把每个特征的连续值离散到固定数量的 bin（默认 \(K=255\)），训练时对每个特征维护一张直方图：第 \(k\) 个 bin 累计落在该区间样本的一阶梯度之和 \(G_k\) 与二阶梯度之和 \(H_k\)。分裂搜索只在直方图（共 \(K\) 个 bin）上做，复杂度从 XGBoost 的 \(O(\#\text{samples})\) 降到 \(O(\#\text{bins})\)，且 \(K \ll \#\text{samples}\)。

解决什么痛点。XGBoost 的精确/预排序分裂，对每个特征都要按样本顺序逐个候选点算增益，枚举成本随样本数线性增长，亿级数据下不可承受；同时它要为每列存一份排序索引，内存也吃紧。Histogram 把"扫每个样本"换成"扫每个 bin"，直接把枚举基数砍到桶数。

原理与推导。分裂增益只需要某侧样本的梯度聚合，不关心个体样本。对 bin 边界 \(k\) 的切分，左右子树统计直接由 bin 累加得到：

\[G_L=\sum_{j\le k}G_j,\quad H_L=\sum_{j\le k}H_j,\qquad G_R=\sum_{j>k}G_j,\quad H_R=\sum_{j>k}H_j \]

代入 4.3 的统一增益公式（只是把样本级统计换成 bin 级统计）：

\[\text{Gain} = \frac{1}{2}\left[ \frac{G_L^2}{H_L+\lambda} + \frac{G_R^2}{H_R+\lambda} - \frac{(G_L+G_R)^2}{H_L+H_R+\lambda} \right] - \gamma \]

可见 Histogram 不改变目标函数的数学，只把枚举粒度从"样本"降到"桶"，精度损失可控（桶够细）。

字段作用。\(K\)（默认 255）是桶数，越大越准越慢；直方图数组长度即 \(K\)，每项是 \((G_k,H_k)\)。

复用与提速。父节点的直方图可由兄弟子树直方图相减得到（parent − sibling），复杂度 \(O(K)\)，免去从样本重算——这就是"逐层相减复用"。

用在哪。每棵树的每个节点、对每个特征：构建/取直方图 → 在 \(K-1\) 个边界上算 Gain → 选最优 (特征, 阈值)。是整个 split-finding 的核心。

flowchart LR Raw["连续特征值"] --> Bin["离散到 K 个 bin"] Bin --> Hist["统计每 bin 的 G/H 直方图"] Hist --> Split["O(#bins) 内搜索最佳分裂点"]

5.2 GOSS（Gradient-based One-Side Sampling）

是什么。基于梯度的单边采样，一种数据降采样技术：保留全部大梯度样本，对小梯度样本按比随机采样并放大权重。

解决什么痛点。十亿级样本下，每轮都用全量数据建直方图太贵；但朴素随机采样会等概率丢掉"模型还没学好"的大梯度样本，损失关键信息。GOSS 只保大梯度、放大小梯度，用更少数据逼近全量效果。

原理。梯度绝对值大的样本 = 模型当前误差大、对信息增益贡献多；梯度小的样本已拟合较好、贡献少。所以"单边"地只在大梯度侧全保、小梯度侧抽样。

公式推导。设按 \(|g_i|\) 降序，取前 \(a\) 比例（如 0.2）为大梯度集 \(A\) 全保留；剩余 \((1-a)\) 按小比例 \(b\)（如 0.1）随机取为集 \(B\)。为补偿被抽掉的小梯度样本，对 \(B\) 中每个样本加权 \(w_i=(1-a)/b\)，使小梯度总体的期望权重回到 1，近似无偏。第 \(t\) 轮的近似目标变为在 \((A \cup B)\) 上加权的损失：

\[\tilde{\mathcal{O}}^{(t)} = \sum_{i\in A} g_i f_t(x_i) + \frac{1-a}{b}\sum_{i\in B} g_i f_t(x_i) + \frac{1}{2}\sum_{i\in A\cup B} h_i f_t^2(x_i) + \Omega(f_t) \]

字段作用。\(a\)（top-gradient keep ratio，默认 0.2）控制保留多少"难样本"；\(b\)（small-gradient sample ratio，默认 0.1）控制小梯度抽样比例；\((1-a)/b\) 是补偿权重。

用在哪。数据采样阶段，在每轮建直方图之前执行；因为梯度每轮都变，所以每轮重新按 \(|g_i|\) 排序并抽样。

5.3 EFB（Exclusive Feature Bundling）

是什么。互斥特征捆绑：把"几乎不同时非零"的稀疏特征合并成一个 bundle，当成单个特征处理。

解决什么痛点。高维稀疏特征（one-hot、词袋）动辄上万维，每维都建直方图成本极高；而大量特征互斥（同一行里基本只有一个非零），维度严重冗余。

原理与推导。若特征 \(f_1,f_2\) 互斥（同一样本不会同时非零），给后者加一个偏移量 \(\text{offset}_{f_2} = \max(f_1\text{ 的取值}) + \epsilon\)，把 \(f_2\) 的取值区间平移到 \(f_1\) 之后，二者即可装进同一个 bundle 的同一张直方图而互不混淆。原特征在阈值 \(t\) 的切分，等价于 bundle 在 \(t+\text{offset}\) 处的切分——分裂语义完全保留。真实数据难免有少量冲突，EFB 把它建模成"带冲突上限的图着色/贪心捆绑"问题：在允许少量重叠的前提下，用最少 bundle 覆盖所有特征。

字段作用。bundle = 一组被合并的特征；offset = 每个特征在 bundle 内的取值偏移；冲突比（allowed conflict rate）控制可容忍的非互斥程度。

用在哪。特征预处理阶段，训练前做一次：先算特征互斥图、贪心分 bundle、给每个特征定 offset，之后建直方图按 bundle 而非原始特征，特征数从 \(F\) 降到 bundle 数。

5.4 Leaf-wise 生长

是什么。best-first 生长：每一轮只选当前增益最大的那片叶子继续分裂，而不是像 XGBoost 的 level-wise 把同层所有叶子一起分裂。

解决什么痛点。level-wise 强制生成平衡树，会把分裂额度浪费在增益低的叶子上；leaf-wise 把算力集中在"最能降损失"的叶子，相同叶子数下收敛更快、精度更高。

原理。贪心 best-first。代价是树容易长得很深、很不均衡 → 过拟合风险高。所以 LightGBM 用 max_depth（最大深度）、num_leaves（最大叶子数）、min_data_in_leaf（叶最少样本）三道闸来约束。

字段作用。num_leaves 是叶子上限（最关键的容量旋钮，经验上 \(\le 2^{\text{max\_depth}}\)）；max_depth 限制深度防过深；min_data_in_leaf 给叶子设样本下限、抑制过拟合。

用在哪。树的生长策略，决定每次迭代往哪片叶子加子节点，贯穿整棵树的构建过程。

5.5 类别特征

是什么 / 痛点。原生支持类别特征，无需 one-hot。高基数类别若 one-hot，维度爆炸且每个虚拟特征样本极稀、树难学。

原理。把"类别取值"当成直方图的一种 bin：按类别对梯度的某种统计（如 \(\sum g_i\)）排序，再在有序类别序列上像数值特征一样找最佳切分点——本质是把 5.1 的直方图思想搬到类别域。

用在哪。特征处理阶段，通过 categorical_feature 指定哪些列是类别型；建直方图时按类别聚合 \(G/H\) 而非按数值桶。

6. CatBoost：有序提升 + 对称树

CatBoost（Yandex, 2017）专攻两个被忽视的问题：预测偏移（prediction shift） 和 类别特征编码泄漏。

6.1 预测偏移与 Ordered Boosting

先拆开看名字。提升（Boosting） 就是常规 GBDT 的串行加法训练——一轮轮加树、每轮拟合同一目标，CatBoost 没改这个框架。有序（Ordered） 改的是"每轮用什么数据算梯度"：对样本做随机排列，并维护多套排列；样本 \(i\) 在第 \(t\) 轮的梯度，只用"排列里排在 \(i\) 之前的样本"训出来的模型来估计——估计 \(i\) 时，模型从未拿过 \(i\) 自己的标签。

它改善的到底是什么？——梯度的无偏性。常规 GBDT 用"已经见过样本 \(i\) 标签"的模型给 \(i\) 算梯度，等于拿着答案偷偷改作业，梯度天然有偏；这种偏会沿加法链一层层累积，叫预测偏移（prediction shift）：训练时梯度基于"含该样本"的模型，推理时面对的是"不含该样本"的模型，目标分布不一致。Ordered Boosting 把"估 \(i\) 的模型"和"\(i\) 的标签"彻底隔离，梯度回到无偏，训练目标与推理分布对齐。

flowchart LR P["随机排列样本顺序 π"] --> S1["样本 i 的梯度<br/>由排列中 i 之前的模型估计"] S1 --> S2["该模型从未见过 i 的标签"] S2 --> S3["梯度无偏 → 消除预测偏移"]

6.2 类别特征的目标统计（TS）

什么是目标统计：把类别特征的取值替换成"同类别样本目标值的统计估计"（通常是目标均值），从而把离散类别编码成连续数值，让树分裂能直接用它排序、找切分点。

它解决两个痛点：

1. 类别特征无法直接参与树分裂。树分裂需要"有序数值 + 切分点"，而类别取值没有大小序。传统 one-hot 在高基数类别下维度爆炸，且树很难学到类别间的交叉。目标统计把它压成单个连续特征，天然规避。
2. 朴素目标统计会泄漏标签（target leakage）。若用"包含样本 \(i\) 自身"的全部数据算某类别的均值，相当于把 \(i\) 的标签混进了 \(i\) 的输入特征，训练集指标虚高、线上必崩。CatBoost 的公式用"排列中排在 \(i\) 之前的同类别样本"统计，并加先验平滑，从源头切断自身标签泄漏：

\[\hat{x}_k^i = \frac{\sum_{j=1}^{p_k-1} [x_{k,j}=x_{k,i}]\, y_j + a \cdot P}{\sum_{j=1}^{p_k-1}[x_{k,j}=x_{k,i}] + a} \]

\(P\) 为先验（整体均值），\(a\) 为平滑系数，\(p_k\) 为排列中样本 \(i\) 之前的位置。配合随机排列避免自身标签泄漏，内置处理高基数类别。

6.3 对称树（Oblivious Trees）

什么是对称树：同一层的所有节点用相同的分裂特征和相同的阈值做分裂；从根到任意叶子的路径，只取决于"每一层走左还是走右"。所有样本在每一层面对的是同一个决策，决策面彼此正交、结构对称。

它解决什么痛点：

1. 预测路径可被编码成定长二进制——每层一个 bit（左 0 / 右 1）。这让推理与训练极易向量化、缓存友好，能在 GPU 上批量并行，是 CatBoost GPU 训练快的底层原因。
2. 对过拟合天然鲁棒。对称结构把树的自由度强约束住（每层只能选一个分裂），不需要像 leaf-wise 那样精细调 max_depth/num_leaves 来防过拟合。

代价是表达力略弱于非对称树，靠更多棵浅树补偿。

6.4 其他

内置缺失值处理、文本/类别特征、GPU 支持，开箱即用，调参相对省心。

7. 三足鼎立：工程取舍

维度	XGBoost	LightGBM	CatBoost
分裂策略	预排序 + 近似分位数	Histogram + leaf-wise	对称树 + Ordered
类别特征	需手动编码	原生支持	原生支持（TS 编码）
缺失值	自动归方向	自动归方向	自动处理
采样/降维	—	GOSS + EFB	Ordered 排列
内存占用	高（存排序索引）	低（直方图）	中
训练速度	中	最快	中（GPU 优）
准确率	高	高	高（类别多时优）
过拟合控制	γ/λ 正则、depth	max_depth/leaves	对称树天然约束
生态/成熟度	最成熟	成熟	较新但完整

8. 选型与踩坑

• 数据规模大、高维稀疏、追求训练速度 → LightGBM（记得约束 num_leaves 和 min_data_in_leaf 防过拟合）。
• 类别特征多、想开箱即用、重视预测偏移 → CatBoost（尤其类别基数高时优势明显）。
• 需要成熟生态、可解释性、团队熟悉度 → XGBoost（工业部署案例最多）。
• 通用铁律：learning_rate 调小 + n_estimators 调大 + early_stopping；类别特征别无脑 one-hot（维度爆炸，LightGBM/CatBoost 原生更好）；GPU 训练在大数据量下几乎必开；交叉验证选超参，别信单次分数。

三者本质是同一套 GBDT 框架的工程分化：XGBoost 赢在推导严谨与生态，LightGBM 赢在速度，CatBoost 赢在类别特征与无偏性。落地时按数据形态和团队熟悉度选，而不是追新。
与君共勉~