2025年10月27日
Paper Reading: GradTree: Learning Axis-Aligned Decision Trees with Gradient Descent
摘要： 本文提出了一种名为 GradTree 的决策树算法，实现了对硬、轴对齐决策树所有参数的联合优化。通过一种新颖的稠密决策树表示法，将离散的树参数（如分裂特征索引和阈值）转化为连续、可微的矩阵形式。为了克服决策树固有的不可微性挑战，GradTree 运用了直通算子和 entmax 变换，使得在前向传播中保持硬决策的同时，在反向传播中能够计算梯度并进行有效的参数更新。这种方法本质上将深度学习的梯度下降优化引入到了决策树的学习中，使得模型能够跳出传统贪心算法局部最优的局限，寻找泛化性能更好的解。在多个数据集上对 GradTree 进行了经验评估，GradTree 在二分类任务上优于对比方法，并在多类数据集上取得了有竞争力的结果。 阅读全文
posted @ 2025-10-27 15:31 乌漆WhiteMoon 阅读(4) 评论(0) 推荐(0)