乌漆 WhiteMoon

摘要： GRANDE 是一种基于梯度下降的硬性、轴对齐决策树集成模型，它通过端到端的梯度优化方法联合学习整个集成模型的所有参数。核心创新在于将决策树转化为密集可微表示，并引入了实例级权重机制，使不同决策树能够专注于处理数据的不同区域。模型采用软符号函数作为可微分分割函数，其梯度特性优于传统的 Sigmoid 和 Entmoid 函数，能为优化过程提供更合理的梯度信号。通过为每个叶节点而非整个估计器学习权重，GRANDE 实现了实例级的动态权重分配，不仅提升了模型性能还增强了局部可解释性。与需要顺序贪婪训练的传统梯度提升方法不同，GRANDE 的端到端训练方式使其能够探索更广阔的假设空间，同时避免了过度拟合问题。通过在 19 个基准数据集上的实验，结果表明其性能优于 XGBoost、CatBoost 等当前最优方法。 阅读全文

摘要： 本文提出的 SREDT 模型融合了符号回归与决策树的优势，其核心思想是在决策树构建过程中，将传统的轴平行分割替换为通过符号回归发现的丰富数学表达式分割。SREDT 基于 CART 算法框架，但在每个节点分割时不再局限于单特征阈值比较，而是使用 GP 驱动的符号回归来探索特征间的复杂非线性关系，使 SREDT 能够发现那些需要多个传统分割才能近似表达的复杂决策边界。这种设计在保持决策树可解释性结构的同时，大幅提升模型的表达能力和效率。通过在 65 个数据集上的系统实验证明其在准确率、F1 分数和推理时间上均优于传统决策树和斜决策树，同时保持了高度可解释性。 阅读全文

摘要： 本文提出了双变量决策树模型，通过限制每个决策节点最多使用两个特征，在保持可解释性的同时显著提升了传统决策树的表达能力。为了学习双变量决策树结构，本文提出了两种算法：基于贪心递归划分的快速算法（双变量 CART）；以及基于交替优化的较慢但更好的算法（双变量 TAO）。基于贪心递归划分的双变量 CART 算法实现了快速训练，基于交替优化的双变量 TAO 算法则通过全局目标函数优化产生更优树结构。模型采用特征成本正则化机制，允许节点自适应选择零变量（剪枝）、单变量或双变量分裂类型，其中双变量分裂通过线性组合两个特征有效捕捉特征交互效应，避免了单变量树需要复杂锯齿状分割逼近决策边界的问题，同时克服了多变量树因使用过多特征而丧失可解释性的缺陷。 阅读全文

摘要： 本文提出了一种名为 GradTree 的决策树算法，实现了对硬、轴对齐决策树所有参数的联合优化。通过一种新颖的稠密决策树表示法，将离散的树参数（如分裂特征索引和阈值）转化为连续、可微的矩阵形式。为了克服决策树固有的不可微性挑战，GradTree 运用了直通算子和 entmax 变换，使得在前向传播中保持硬决策的同时，在反向传播中能够计算梯度并进行有效的参数更新。这种方法本质上将深度学习的梯度下降优化引入到了决策树的学习中，使得模型能够跳出传统贪心算法局部最优的局限，寻找泛化性能更好的解。在多个数据集上对 GradTree 进行了经验评估，GradTree 在二分类任务上优于对比方法，并在多类数据集上取得了有竞争力的结果。 阅读全文

摘要： 本文提出了 DTSemNet 模型，该架构通过四层神经网络结构实现了与斜决策树的语义等价映射。它使用 ReLU 激活函数和线性运算使其可微，并允许梯度下降应用于学习结构，同时在语义上等同于倾斜决策树的架构，使得 DT 中的决策节点与 NN 中的可训练权重一一对应。DTSemNet 的模型结构为：输入层接收特征向量，第一隐藏层作为决策层使用线性激活函数学习内部节点的参数，第二隐藏层通过 ReLU 激活函数和固定权重实现硬决策路径的激活，输出层则基于预定义的树拓扑结构通过固定连接规则编码叶子节点选择逻辑。DTSemNet 首次实现了无需梯度近似即可通过标准梯度下降直接学习硬决策树的方法，在分类任务中避免 Straight-Through Estimator（STE）的使用，在回归任务中仅需单次 STE 近似。实验证明其在监督学习和强化学习环境中显著提升了训练效率和准确性，为可解释机器学习提供了新的技术路径。 阅读全文

摘要： 综合考虑现有多分类不平衡学习方法的局限性和相关研究工作的不足，本文提出了一种基于多类降解和特征构造的新型多分类不平衡学习深度森林算法，简称为MDGP-Forest。MDGP-Forest首先将数据拆解为多个二分类数据副本，以规避多个类别之间的复杂相互关系。接着通过增强向量得到每个实例的硬度，并以此为依据对副本进行欠采样。该步骤的目的是防止噪声实例引入负面的信息，同时提高对靠近决策边界的实例的关注。然后MDGP-Forest通过多个种群GP进行类别相关的特征构造，每个GP种群构造出的特征将帮助一个类别的实例更容易和其他类别区分开来。MDGP-Forest使用构造特征训练一个新的级联层，重复上述过程训练多层级联森林，直到满足停止条件。实验在35个数据集上对MDGP-Forest的性能进行充分的评估，实验结果表明MDGP-Forest在多分类不平衡问题上显著优于现有的方法，具有较高的预测性能。 阅读全文

摘要： 本文的主要目的是从不同的角度来分析重采样策略在处理不平衡回归问题的效果，采用了不同的重采样策略和学习算法进行了广泛的实验研究，还使用了不同的不平衡回归任务的性能指标。本文的主要贡献如下：1. 根据回归模型、学习策略和指标提出了一种新的不平衡回归任务分类方法；2. 回顾了不平衡回归任务的主要策略；3. 进行了一项广泛的实验研究，比较了最先进的重新采样策略的性能及其对多种学习算法和新性能指标的影响；4. 分析了数据集特征对模型预测性能的影响。 阅读全文

摘要： 相比于原先的 ISA 方法将每个实例当做一个完整的数据集，本文将 ISA 框架扩展到对单个分类数据集的分析，同时将实例定义为数据集中的观察值实现更细粒度的分析。通过将原始数据投影到二维硬度嵌入中，可以仔细检查数据质量，并更深入地理解单个数据集中的分类器行为。本文重新实例硬度的概念，使用实例硬度评估分类数据集中每个实例的困难程度或错误分类的概率。通过将描述实例硬度的元特征与多个分类器的预测性能相关联，ISA 提供了每个分类器优缺点信息，还可以对数据集中的数据质量问题进行分析。同时本文提供了一个开源 Python 工具包 PyHard，它封装实现了 ISA，并提供了一个交互式可视化界面将实例硬度与分类性能联系起来。 阅读全文

摘要： 本文提出了一种名为 Mixed Bagging 的 Bagging 框架，其中 bootstrap 得到的数据子集具有不同程度的硬度。这样的混合 bootstrap 将诱导出一组更加多样化的基学习器，且这样的分类器的集合在总体分类任务中更够提高对难分样本的关注。Mixed Bagging 框架中考虑了两种不同的方法，第一种分组混合 Bagging 有三组 bootstrap 的混合部分，分别是 easy、regular、hard。在第二种增量混合 Bagging 的设置中，bootstrap 的硬度是迭代变化的。在 47 个公开的二分类问题上对这两种 Mixed Bagging 方法进行测试，结果验证了本文提出的方法在总体上比对比算法的预测性能好得多。 阅读全文

摘要： 本文将 RandBal 方法从二分类扩展到多分类，提出了两种集成策略。第一种方法称为多重随机平衡 MultiRandBal，该方法同时处理所有类，每个基分类器的训练数据都是随机抽样的。第二种方法是将多分类问题按照 OVO 或 OVA 的分解为两分类问题，并构建 RandBal 集成学习器，这两个版本分别称为 OVO-RandBal 和 OVA-RandBal。通过 52 个多分类数据集进行了实验，结果表明 MultiRandBal 和 OVO/OVA-RandBal 都是原始二分类 RandBal 的可行扩展，在多分类不平衡问题上的表现优于其他对比方法。 阅读全文