乌漆 WhiteMoon

摘要： 针对经典决策树的不可微性和较低测试精度两个瓶颈，本文提出了一种名为 RADDT​ 的可微硬斜决策树模型。其核心是通过 ReLU + Argmin 的数学重构，将不可微的硬决策树训练问题转化为一个可微的无约束优化问题。首先，本文提出了 ReLU+Argmin 的重构方法，用 ReLU 函数量化样本在决策路径上的违规值，并用 Argmin 操作识别唯一零违规路径，从而在不引入任何软决策的前提下，为硬决策树建立了一个精确的数学表达。接着，为了解决重构中 Argmin 不可微的问题，采用缩放 Softmin 函数在训练时近似，并设计了多轮热启动退火策略来平衡近似精度与优化稳定性。最终，基于此重构构建了名为 RADDT 的可微决策树训练框架，实现了对整个决策树参数的梯度优化。大量实验表明，该方法不仅测试精度显著超越了包括 CART、ORT-LS 在内的多种基线决策树，甚至能与 RF、XGBoost 等集成方法媲美，并且展现出强大的可扩展性。 阅读全文