随笔分类 - Paper Reading
摘要：本文针对多分类不平衡学习问题设计了一种基于动态集成选择的方法 DES-MI，主要思想是针对不同的样本选择不同的分类器进行集成。首先利用随机平衡框架构造一组平衡数据集训练多个基分类器作为候选池，该重采样框架混合使用了随机欠采样、随机过采样和 SMOTE。然后通过使用样本周围的实例进行加权来评估候选分类器的能力，分类器的预测性能越高，则它在局部区域内的少数类别分类能力越强。最后根据每个选定的分类器的预测结果进行多数类投票，得票最多的类被视为最终输出类。通过 KEEL 库中的 20 个多类不平衡数据集的实验，分析了动态选择在多分类不平衡数据集场景下的有效性，结果表明 DES-MI 能够提高多分类不平衡数据集的分类性能。
阅读全文
摘要：为了解决基于现有多样性度量的学习复杂性较高的问题，本文提出了一种新的数据级多样性度量 IED。它能够直接基于训练数据集度量多样性，而不需要训练分类器，同时本文也设计了两种基于最优实例配对和贪婪实例配对的 IED 计算方法。在此基础上，本文设计了一种不平衡集成学习模型 P-EUSBagging，它使用基于种群的增量学习(PBIL)来生成子数据集，再用这些数据集用于训练具有最大数据级多样性的基分类器。P-EUSBagging 采用 Bagging 来集成，并设计了一种新的权重自适应投票策略，奖励给出正确预测的基本分类器。实验使用 44 个不平衡数据集，实验结果表明 IED 可以显著减少训练集成学习模型所需的时间，PEUSBagging 在 G-Mean 和 AUC 上都显著提高了学习性能。
阅读全文
摘要：目录问题定义数据集定义数据模型特征生成Theorem A.1 及其证明Theorem A.2 及其证明 在论文《OpenFE: Automated Feature Generation with Expert-level Performance》中作者对理论结论给出了详细的分析过程，这篇博客对该部分
阅读全文
摘要：本文设计了一种基于深度森林的embedding 学习方法 GraphDF，该方法可以实现以资源为中心的加权属性图的属性和拓扑信息的嵌入。提出的图预处理器包括基于自注意机制的潜在隐含特征挖掘、基于相似性和模块化相关转换对潜在隐含关系特征的深度一般信息挖掘。使编码器所提取的原始特征包含更全面的信息，以用于更广泛和更深的嵌入应用。还引入了一种新的特征提取器和相关的嵌入表示生成器，它利用多粒度扫描和深度级联森林在确保局部收敛的同时全局优化图嵌入表示。该方法避免了过多的约束和偏差，具有较强的泛化和判别能力，通过 7 个数据集实验结果表明 GraphDF 方法优于最先进的嵌入方法。
阅读全文
摘要：针对搜索 Pareto 前沿需要生成大量的解导致大量模型训练开销的问题，本文提出了多分类多目标选择集成 MMSE 框架。该框架在多目标建模中引入选择性集成，这样就不必重复训练整个模型，而是通过不同的基础学习器组合来获得不同的模型。训练单个学习器时使用了不同比例的欠采样数据集进行训练，提高了训练效率。同时由多个基学习器集成得到的模型可以覆盖更多的训练样本，避免了信息丢失的问题，在不同的类中具有更多样化的性能选择。当类的数量增加时，因为大多数生成的解是不可比较的，优化问题变得困难。本文进一步提出了一个基于边际的版本 MMSEmargin，它通过优化标签和实例边界来优化常见的性能度量，将目标数量减少到 3 个，同时仍然可以对常用的指标进行优化。
阅读全文
摘要：本文提出了一种可扩展自动特征工程方法 SAFE，它包括特征生成阶段和特征选择阶段，具备较高的计算效率、可扩展性，能满足实际业务问题的要求。不同于使用算子枚举所有的生成特征，本文的特征生成阶段专注于挖掘原始特征对，以更高的概率生成更有效的新特征。在特征选择阶段，本文的方法考虑了单个特征的信息量、特征对的冗余性、树模型评估的特征重要性。通过实验证明，SAFE 算法在大量数据集和多个分类器上具有优势，与原始特征空间相比预测精度平均提高了6.50%。
阅读全文
摘要：本文关注当数据集包含大量样本时的特征选择算法，主要使用梯度增强回归树实现，设计的模型称为梯度增强特征选择 GBFS。在梯度增强框架的基础上，采用贪心 CART 算法构建树。CBFS 对新特征产生的分割将受到惩罚，但如果是重用以前选择的特征就可以避免这个惩罚。当 GBFS 学习回归树的集合时，可以自然地发现特征之间的非线性相互作用。与随机森林的 FS 相比，GBFS 能够实现将特征选择和分类同时进行优化。实验环节在几个不同难度和大小的真实世界数据集上进行评估，结果表明 GBFS 优于或相当于随机森林特征选择的准确性和特征选择的性能，同时可以有效地处理特征间依赖关系。
阅读全文
摘要：本文提出了一种自动特征工程学习模型 AutoLearn，AutoLearn 基于特征对之间的回归，通过特征相互关联的方式发现数据中的潜在模式及其变化，并选择非常少量的新特征来显著提高预测性能。提出的新的特征生成方法可以捕获特征对中的显著变化，从而产生高度判别性的信息。通过实验证明了我们的方法在大量数据集和多个分类器上的优势，与原始特征空间相比，预测精度平均提高了13.28%。
阅读全文
摘要：本文提出了一种自动特征生成模型 OpenFE，它通过一个特征增强算法和一个两阶段修剪算法来解决 expand-and-reduce 框架的挑战。本文认为模型再训练并不需要准确评估新特征的增量性能，在梯度增强的启发下提出了一种用于评估新特征增量性能的高效算法 FeatureBoost。同时本文提出了一种两阶段修剪算法，以有效地从大量候选特征中检索有效特征。由于有效特征通常是稀疏的，两阶段剪枝算法以粗到细的方式进行特征剪枝。实验部分在各种数据集中验证了 OpenFE 的性能，OpenFE 大大优于现有的基线方法。同时在自动特征生成模型的研究中很多现有方法都没有开源，本文还复现了一些经典方法并进行了基准测试，以便在未来的研究中进行公平的比较。
阅读全文
摘要：针对价格预测问题的特点，本文提出了一种代价敏感的深度森林价格预测方法 CSDF。通过代价敏感方案对远离真实价格类别的错误分类施加更高的成本，期望降低错误分类的成本并将其推向真实价格范围。此外为了进一步提高整体性能，通过修改传统的 K-means 方法，开发了一种改进的 K-means 离散化方法来预先定义价格的类别。基于多个真实数据集的实验结果表明，与传统深度森林和其他基准相比，本文提出的代价敏感深度森林可以显著降低成本，同时保持较好的准确性。
阅读全文
摘要：本文旨在研究构建多特征的不同方法，并分析它们的有效性、效率和潜在行为，以揭示在高维数据上使用 GP 构建多特征的洞察力。本研究研究了三种多特征构建方法，包括两种使用多树表示的方法，即类独立 MCIFC 和类依赖 CDFC，以及 Neshatian 等提出的一种使用单树表示的方法 1TGPFC 构建类依赖特征。将使用常用的学习算法(包括 KNN、朴素贝叶斯和决策树 DT)对三种方法构建的特征的性能进行比较。结果表明多特征构建的性能明显优于单特征构建，类依赖的构造特征比类独立的构造特征具有更好的性能。
阅读全文
摘要：针对深度森林中基分类器数量过多带来的时空开销，本文中提出了一种基于三目标优化的深度森林级联集成修剪算法 TOOCEP，该算法在级联森林的每一层学习最优决策树子集，并去除不在最优子集中的决策树。具体而言本文首先提出了一种基于三目标优化的单层剪枝方法 TOOSLP，通过同时优化精度、独立多样性和耦合多样性三个目标对其单层森林进行剪枝。前两个目标是单层森林本身的准确性和多样性，第三个目标用于处理被修剪的层与其前一层之间的耦合关系。在 TOOSLP 方法的基础上，提出了层叠集成剪枝框架对深层森林进行逐层剪枝。通过在 15 个 UCI 数据集上对该算法进行评估，实验结果表明 TOOCEP 在准确率和剪枝率方面优于几种最先进的方法，显著减少了深度森林的存储空间，加快了深度森林的预测速度。
阅读全文
摘要：为了解决现有分布式深度森林存在的问题，本文提出了一种新的计算效率高、鲁棒性强的分布式深度森林算法 CERT-DF。CERT-DF 基于本文新提出的 SAB 机制构建的，该机制集成了三种方案：块级预采样、两阶段预聚合和系统级备份。块级预采样将数据集划分为多个不相连的数据块，其中利用随机样本分区机制，确保每个块的统计特征和数据分布与原始整个数据集相似，以减少分布式数据集偏差对模型精度的负面影响。两阶段预聚合方案引入缓冲机制，将每个子森林生成的向量临时存储，然后对分布式子森林进行分层向量聚合，以减轻参数服务器的网络带宽占用，加快聚合过程。系统级备份旨在以很小的内存和磁盘开销备份关键特征空间，防止训练任务失败，增强分布式深度森林的鲁棒性。CERT-DF 框架在 Ray 平台上进行实现，并基于七个知名的基准数据集进行了广泛的实验，评估结果表明 CERT-DF 在计算效率、模型精度、系统资源开销和系统鲁棒性方面优于最先进的方法。
阅读全文
摘要：为应对不平衡回归任务与度量的形式化问题，本文旨在提供一套新颖的模型评估与优化的基准。本文提出了一种自动和非参数方法，用于推断偏向极端值的非均匀域偏好，解决早期工作中潜在正态分布的假设。接着设计了新的评估指标 SERA(平方误差相关区域)，它允许优化和评估模型预测极值的能力，同时对严重的模型偏差具有鲁棒性。通过实验表明评估指标 SERA 为选择和优化程序提供了合适的基准、预测模型性能的分析、影响和预测权衡。
阅读全文
摘要：本文结合 Boosting 和 Bagging 的思想，提出了一种新的分类和回归算法 BoostForest。首先提出了一种新的决策树模型 BoostTree，它先在每个节点上训练一个回归模型进行回归或分类，对于给定的输入 BoostTree 将其分类到一个叶节点，然后通过将所有节点模型沿着从根到该叶节点的路径的输出相加来计算最终的预测。接着提出了一种称为随机参数池采样的参数设置策略，BoostTree 的参数从参数池中随机采样，使 BoostTree 比传统方法更容易调整其超参数。然后提出了一种新的集成学习方法 BoostForest，它使用 bootstrap 获得原始训练集的多个副本，然后在每个副本上训练一个 BoostTree。本文在 35 个分类和回归数据集上进行了实验，结果表明 BoostForest 总体上优于多种经典的集成学习方法。
阅读全文
摘要：针对回归任务中分布不平衡的问题，本文提出了几种新的预处理解决方案，包括随机过采样、引入高斯噪声、基于加权相关度的组合策略 WERCS。通过实验表明使用所提出的策略，特别是 WERCS 方法能提高学习器在不平衡回归问题上的性能。
阅读全文
摘要：本文提出了一种名为 DenseWeight 的不平衡回归数据集的样本加权方法，并在此基础上提出了一种名为 DenseLoss 的不平衡回归的成本敏感学习神经网络。DenseLoss 使用 KDE 近似训练目标值的密度函数，将所得密度函数构成计算 DenseWeight 权重函数的基础，接着 DenseLoss 根据 DenseWeight 为训练集中的每个数据点分配一个权重，增加稀有数据点对损失和梯度的影响。本文引入了一个单一的、易于解释的超参数，允许将模型的焦点转移到目标变量分布的稀有区域。使用合成数据分析了 DenseLoss 对常见和稀有数据点性能的影响，并将 DenseLoss 与不平衡回归方法 SMOGN 进行了比较，发现本文的方法通常提供更好的性能。结合将 DenseLoss 应用于严重不平衡的降尺度降水的现实世界问题，表明它能够在实践中显着提高模型性能。
阅读全文
摘要：针对不平衡回归问题，本文提出了一种新方法称为 SMOGN。SMOGN 它结合了欠采样策略和两个过采样策略，使用 SmoteR 插值方法对更接近的样例进行插值，对距离较远的样本使用高斯噪声生成合成样本。实验数据表明，SMOGN 与其他方法相比具有优势，同时该方法对使用的学习器有不同的影响，对 RF 和 MARS 显示出更明显的优势。
阅读全文
摘要：针对罕见极值预测问题(不平衡回归问题)研究的空缺，本文首次提出了针对该问题的重采样方法。本文使用了欠采样策略，将著名且成功的 SMOTE 算法应用于回归任务，提出了名为 SMOTER 的算法。通过实验表明本文提出的 SMOTER 方法可以与任何现有的回归算法一起使用，使其成为解决连续目标变量罕见极值预测问题的通用工具。
阅读全文
摘要：为了设计更有效的插值过采样算法，本文提出了一种新的插值过采样方法 OREM。OREM 在原始少数类样本周围找到候选少数类区域，然后利用这些候选区域识别不包含任何多数类样本的干净子区域。它们被认为是潜在的少数类区域，所以通过将合成样本填充到干净子区域可以增强少数类的表达能力。OREM 方法的思路很简单，既不涉及聚类算法的使用，也不涉及邻居参数k的调整。为了提高过采样技术处理多分类不平衡数据的能力，本文利用合成样本生成的迭代过程将 OREM 推广到多分类不平衡问题得到 OREM-M。OREM-M 的合成样本是迭代创建的，只有最近邻非原始样本或来自其他少数类的合成样本的合成样本才被接受，这样就缓解了对多个少数类进行过采样时类重叠的问题。为了与集成学习方法建立协同作用，本文将 OREM 嵌入到 Boosting 中得到 OREMBoost 算法，OREMBoost 在训练基分类器之前对每轮的训练数据进行平衡，使得构造的基分类器对多数类的偏差更小、多样性更大。通过大量的实验证明，本文提出的 OREM、OREM-M 和 OREMBoost 具有有效性。
阅读全文
浙公网安备 33010602011771号