随笔分类 - Paper Reading
摘要：目录预备知识Q 函数排序矩阵局部特征掩码 L0 范数估计排列矩阵 P 的估计Lemma D.2.Definition D.1Theorem D.3. 在论文《ProtoGate: Prototype-based Neural Networks with Global-to-local Feature
阅读全文
摘要：ProtoGate 是一个针对高维低样本量（HDLSS）生物医学表格数据设计的创新型特征选择与分类框架，其核心在于通过一种解耦的、原型驱动的架构来同时实现高预测精度、高特征选择保真度以及内在的可解释性。首先使用全局到局部的特征选择器自适应地识别重要特征，它采用两阶段策略：先通过门控网络第一层的 L1 正则化进行“软全局选择”，快速筛选出所有样本共享的潜在重要特征集；再通过后续层的 L0 正则化进行“局部选择”，为每个样本生成个性化的稀疏特征掩码。接着使用非参数的原型预测器进行预测，该预测器将特征选择后的查询样本与训练阶段构建的“原型库”中的原型样本进行相似度比较，基于 K 个最近邻原型的多数投票得出预测结果。模型中仅特征选择器的参数是可训练的，训练损失函数由预测损失和特征选择正则化项加权构成，并通过可微排序技术使梯度能从原型预测损失顺畅地反向传播至特征选择器。
阅读全文
摘要：受到遗忘决策树的启发，本文提出了一个用于处理表格数据深度神经网络架构 DOFEN。DOFEN 首先通过随机组合条件来构建一个庞大的、可微分的松弛 ODT 池，然后引入一个独特的两级集成策略：第一级通过随机采样 rODT 形成多个独立的森林以引入多样性并防止过拟合，第二级则将这些森林的预测结果进行聚合，最终输出预测。这种设计使 DOFEN 能够有效模拟树模型的优势，同时保持神经网络的端到端可训练性。通过在 Tabular Benchmark 上的实验，本文证明了 DOFEN 的表现不仅显著优于其他深度学习方法，而且与强大的梯度提升决策树模型具有竞争力。
阅读全文
摘要：本文提出了一种面向细粒度图像识别的本质可解释深度学习模型——神经原型树（ProtoTree），将原型学习与决策树结构相结合。首先使用卷积神经网络（CNN）将输入图像映射为潜在特征表示；然后通过一个二叉决策树进行层次化推理，其中每个内部节点包含一个可学习的原型，通过计算图像特征与原型之间的相似度来决定路由方向（向左或向右）；最终，样本以一定概率到达各个叶子节点，节点的类别分布加权汇总产生预测结果。ProtoTree 的决策过程类似于人类玩游戏时的渐进式问答（如“这只鸟有红喉咙吗？有细长喙吗？那么它是蜂鸟！”），从而实现了全局可解释性（整个树结构可被理解）和局部可解释性（单样本预测路径可追溯）。ProtoTree 在性能上显著优于同类可解释模型，在 CUB-200-2011 和 Stanford Cars 数据集上达到更高准确率的同时，将所需原型数量减少约 90%，并通过剪枝、确定性推理等技术进一步优化了解释效率。
阅读全文
摘要：本文提出了“神经树”这一统一概念框架，用以涵盖所有旨在融合神经网络与决策树优势的机器学习模型。接着建立了一个清晰且富有洞察力的三级分类法，将现有方法划分为非混合协作、半混合借鉴与混合模型三大范畴，梳理了神经网络与决策树从独立协作到深度协同演化的技术发展路径。在此分类基础上，论文以模型可解释性为关键视角，对各类神经树技术进行了深入分析，重点分析了神经决策树在性能与可解释性之间的根本性权衡。
阅读全文
摘要：本文提出了一种用于表格数据深度学习的架构 TabNet，该模型的核心创新在于模仿决策树的特征选择能力，通过一种序列注意力机制（sequential attention）来实现实例级的软特征选择。在每一步决策中，TabNet 都会动态地、稀疏地选择最相关的特征子集进行推理，从而将模型的学习能力集中在最显著的特征上。这不仅提高了学习效率，减少了冗余参数，还自然地为模型提供了内在的可解释性。其编码器由多个决策步骤组成，每个步骤包含一个用于特征选择的注意力变换器（Attentive Transformer）和一个用于特征处理的特征变换器（Feature Transformer）。此外，TabNet 首次为表格数据引入了掩码自监督学习框架，通过预测被掩码的特征来进行预训练，从而能够有效利用大量未标注数据来提升模型在下游任务中的性能。通过广泛的实验验证，证明了TabNet 在多个不同领域的分类和回归数据集上达到或超越了当前主流表格学习模型的性能，同时提供了局部和全局两个层面的可解释性。
阅读全文
摘要：GRANDE 是一种基于梯度下降的硬性、轴对齐决策树集成模型，它通过端到端的梯度优化方法联合学习整个集成模型的所有参数。核心创新在于将决策树转化为密集可微表示，并引入了实例级权重机制，使不同决策树能够专注于处理数据的不同区域。模型采用软符号函数作为可微分分割函数，其梯度特性优于传统的 Sigmoid 和 Entmoid 函数，能为优化过程提供更合理的梯度信号。通过为每个叶节点而非整个估计器学习权重，GRANDE 实现了实例级的动态权重分配，不仅提升了模型性能还增强了局部可解释性。与需要顺序贪婪训练的传统梯度提升方法不同，GRANDE 的端到端训练方式使其能够探索更广阔的假设空间，同时避免了过度拟合问题。通过在 19 个基准数据集上的实验，结果表明其性能优于 XGBoost、CatBoost 等当前最优方法。
阅读全文
摘要：本文提出的 SREDT 模型融合了符号回归与决策树的优势，其核心思想是在决策树构建过程中，将传统的轴平行分割替换为通过符号回归发现的丰富数学表达式分割。SREDT 基于 CART 算法框架，但在每个节点分割时不再局限于单特征阈值比较，而是使用 GP 驱动的符号回归来探索特征间的复杂非线性关系，使 SREDT 能够发现那些需要多个传统分割才能近似表达的复杂决策边界。这种设计在保持决策树可解释性结构的同时，大幅提升模型的表达能力和效率。通过在 65 个数据集上的系统实验证明其在准确率、F1 分数和推理时间上均优于传统决策树和斜决策树，同时保持了高度可解释性。
阅读全文
摘要：本文提出了双变量决策树模型，通过限制每个决策节点最多使用两个特征，在保持可解释性的同时显著提升了传统决策树的表达能力。为了学习双变量决策树结构，本文提出了两种算法：基于贪心递归划分的快速算法（双变量 CART）；以及基于交替优化的较慢但更好的算法（双变量 TAO）。基于贪心递归划分的双变量 CART 算法实现了快速训练，基于交替优化的双变量 TAO 算法则通过全局目标函数优化产生更优树结构。模型采用特征成本正则化机制，允许节点自适应选择零变量（剪枝）、单变量或双变量分裂类型，其中双变量分裂通过线性组合两个特征有效捕捉特征交互效应，避免了单变量树需要复杂锯齿状分割逼近决策边界的问题，同时克服了多变量树因使用过多特征而丧失可解释性的缺陷。
阅读全文
摘要：本文提出了一种名为 GradTree 的决策树算法，实现了对硬、轴对齐决策树所有参数的联合优化。通过一种新颖的稠密决策树表示法，将离散的树参数（如分裂特征索引和阈值）转化为连续、可微的矩阵形式。为了克服决策树固有的不可微性挑战，GradTree 运用了直通算子和 entmax 变换，使得在前向传播中保持硬决策的同时，在反向传播中能够计算梯度并进行有效的参数更新。这种方法本质上将深度学习的梯度下降优化引入到了决策树的学习中，使得模型能够跳出传统贪心算法局部最优的局限，寻找泛化性能更好的解。在多个数据集上对 GradTree 进行了经验评估，GradTree 在二分类任务上优于对比方法，并在多类数据集上取得了有竞争力的结果。
阅读全文
摘要：本文提出了 DTSemNet 模型，该架构通过四层神经网络结构实现了与斜决策树的语义等价映射。它使用 ReLU 激活函数和线性运算使其可微，并允许梯度下降应用于学习结构，同时在语义上等同于倾斜决策树的架构，使得 DT 中的决策节点与 NN 中的可训练权重一一对应。DTSemNet 的模型结构为：输入层接收特征向量，第一隐藏层作为决策层使用线性激活函数学习内部节点的参数，第二隐藏层通过 ReLU 激活函数和固定权重实现硬决策路径的激活，输出层则基于预定义的树拓扑结构通过固定连接规则编码叶子节点选择逻辑。DTSemNet 首次实现了无需梯度近似即可通过标准梯度下降直接学习硬决策树的方法，在分类任务中避免 Straight-Through Estimator（STE）的使用，在回归任务中仅需单次 STE 近似。实验证明其在监督学习和强化学习环境中显著提升了训练效率和准确性，为可解释机器学习提供了新的技术路径。
阅读全文
摘要：综合考虑现有多分类不平衡学习方法的局限性和相关研究工作的不足，本文提出了一种基于多类降解和特征构造的新型多分类不平衡学习深度森林算法，简称为MDGP-Forest。MDGP-Forest首先将数据拆解为多个二分类数据副本，以规避多个类别之间的复杂相互关系。接着通过增强向量得到每个实例的硬度，并以此为依据对副本进行欠采样。该步骤的目的是防止噪声实例引入负面的信息，同时提高对靠近决策边界的实例的关注。然后MDGP-Forest通过多个种群GP进行类别相关的特征构造，每个GP种群构造出的特征将帮助一个类别的实例更容易和其他类别区分开来。MDGP-Forest使用构造特征训练一个新的级联层，重复上述过程训练多层级联森林，直到满足停止条件。实验在35个数据集上对MDGP-Forest的性能进行充分的评估，实验结果表明MDGP-Forest在多分类不平衡问题上显著优于现有的方法，具有较高的预测性能。
阅读全文
摘要：本文的主要目的是从不同的角度来分析重采样策略在处理不平衡回归问题的效果，采用了不同的重采样策略和学习算法进行了广泛的实验研究，还使用了不同的不平衡回归任务的性能指标。本文的主要贡献如下：1. 根据回归模型、学习策略和指标提出了一种新的不平衡回归任务分类方法；2. 回顾了不平衡回归任务的主要策略；3. 进行了一项广泛的实验研究，比较了最先进的重新采样策略的性能及其对多种学习算法和新性能指标的影响；4. 分析了数据集特征对模型预测性能的影响。
阅读全文
摘要：相比于原先的 ISA 方法将每个实例当做一个完整的数据集，本文将 ISA 框架扩展到对单个分类数据集的分析，同时将实例定义为数据集中的观察值实现更细粒度的分析。通过将原始数据投影到二维硬度嵌入中，可以仔细检查数据质量，并更深入地理解单个数据集中的分类器行为。本文重新实例硬度的概念，使用实例硬度评估分类数据集中每个实例的困难程度或错误分类的概率。通过将描述实例硬度的元特征与多个分类器的预测性能相关联，ISA 提供了每个分类器优缺点信息，还可以对数据集中的数据质量问题进行分析。同时本文提供了一个开源 Python 工具包 PyHard，它封装实现了 ISA，并提供了一个交互式可视化界面将实例硬度与分类性能联系起来。
阅读全文
摘要：本文提出了一种名为 Mixed Bagging 的 Bagging 框架，其中 bootstrap 得到的数据子集具有不同程度的硬度。这样的混合 bootstrap 将诱导出一组更加多样化的基学习器，且这样的分类器的集合在总体分类任务中更够提高对难分样本的关注。Mixed Bagging 框架中考虑了两种不同的方法，第一种分组混合 Bagging 有三组 bootstrap 的混合部分，分别是 easy、regular、hard。在第二种增量混合 Bagging 的设置中，bootstrap 的硬度是迭代变化的。在 47 个公开的二分类问题上对这两种 Mixed Bagging 方法进行测试，结果验证了本文提出的方法在总体上比对比算法的预测性能好得多。
阅读全文
摘要：本文将 RandBal 方法从二分类扩展到多分类，提出了两种集成策略。第一种方法称为多重随机平衡 MultiRandBal，该方法同时处理所有类，每个基分类器的训练数据都是随机抽样的。第二种方法是将多分类问题按照 OVO 或 OVA 的分解为两分类问题，并构建 RandBal 集成学习器，这两个版本分别称为 OVO-RandBal 和 OVA-RandBal。通过 52 个多分类数据集进行了实验，结果表明 MultiRandBal 和 OVO/OVA-RandBal 都是原始二分类 RandBal 的可行扩展，在多分类不平衡问题上的表现优于其他对比方法。
阅读全文
摘要：针对现有工作在多分类不平衡问题的不足，本文提出了一种新的多分类联合清洗和重采样算法 MC-CCR。MC-CCR 主要使用了分解策略的思想，利用基于能量的方法对适合过采样的区域进行挖掘。与 SMOTE 相比，该方法受离群点和异常值的影响较小。接着将其与清理操作相结合，减少了重叠类分布对学习算法性能的影响。最后提出了一种迭代策略将二分类的场景扩展到多分类，MC-CCR 比经典的多分类分解策略受类间关系信息丢失的影响更小。通过多个多类不平衡基准数据集的实验研究结果表明，该方法对噪声具有较高的鲁棒性，并且与现有方法相比具有较高的性能。
阅读全文
摘要：针对当前多分类不平衡问题仅依靠不平衡比，以及数据集的不平衡信息无法在训练过程中动态调整的问题。本文首先提出了基于自适应分布的样本权值，将类间不平衡比、类内密度变量和自适应裕度综合起来处理多类不平衡。接着将提出的自适应样本权值与 AdaBoost 学习框架相结合，提出了 AdaBoost.AD 算法，并为其提供了理论支持。通过多个不平衡数据集的实验，结果表明所提出的 AdaBoost.AD 相比现有方法具有更强的预测性能，并验证了自适应权重各个组成部分的有效性。
阅读全文
摘要：本文提出了一种新的 GNN 架构，称为协作图神经网络 Co-GNN。在 Co-GNN 网络中，图中的每个节点都被视为可以执行 STANDARD(S)、LISTEN(L)、BROADCAST(B)、ISOLATE(I) 动作之一的参与者。Co-GNN 结构由两个联合训练的“合作”消息传递神经网络组成，分别是用于解决给定任务的环境网络 η 和一个用于选择最佳行动的行动网络 π。本文对新的消息传递方案进行了理论分析，并通过对合成数据和现实世界数据的对 Co-GNN 的性能进行了验证。
阅读全文
摘要：本文基于级联森林提出了一种用于不平衡故障检测数据集的模型 DBCF，该模型设计了优化的级联随机森林，从数据层面和算法层面改进不平衡学习。首先提出了一种新的多通道级联旋转机械故障诊断框架，该框架将数据级方法和算法级方法相结合。然后提出了一种混合采样方法，通过生成新数据和丢弃类分布边缘的样本实现，为每个梯级森林通道提供平衡的数据集。最后提出了一种基于数据比例统计计算的新型平衡信息熵，并使用该指标设计了一种新型平衡森林。通过在平衡数据集上的对比实验，结果验证了 DBCF 在处理不平衡故障诊断问题上更加稳定和有效。
阅读全文
浙公网安备 33010602011771号