乌漆 WhiteMoon

摘要： GRANDE 是一种基于梯度下降的硬性、轴对齐决策树集成模型，它通过端到端的梯度优化方法联合学习整个集成模型的所有参数。核心创新在于将决策树转化为密集可微表示，并引入了实例级权重机制，使不同决策树能够专注于处理数据的不同区域。模型采用软符号函数作为可微分分割函数，其梯度特性优于传统的 Sigmoid 和 Entmoid 函数，能为优化过程提供更合理的梯度信号。通过为每个叶节点而非整个估计器学习权重，GRANDE 实现了实例级的动态权重分配，不仅提升了模型性能还增强了局部可解释性。与需要顺序贪婪训练的传统梯度提升方法不同，GRANDE 的端到端训练方式使其能够探索更广阔的假设空间，同时避免了过度拟合问题。通过在 19 个基准数据集上的实验，结果表明其性能优于 XGBoost、CatBoost 等当前最优方法。 阅读全文