摘要: 为了解决现有分布式深度森林存在的问题,本文提出了一种新的计算效率高、鲁棒性强的分布式深度森林算法 CERT-DF。CERT-DF 基于本文新提出的 SAB 机制构建的,该机制集成了三种方案:块级预采样、两阶段预聚合和系统级备份。块级预采样将数据集划分为多个不相连的数据块,其中利用随机样本分区机制,确保每个块的统计特征和数据分布与原始整个数据集相似,以减少分布式数据集偏差对模型精度的负面影响。两阶段预聚合方案引入缓冲机制,将每个子森林生成的向量临时存储,然后对分布式子森林进行分层向量聚合,以减轻参数服务器的网络带宽占用,加快聚合过程。系统级备份旨在以很小的内存和磁盘开销备份关键特征空间,防止训练任务失败,增强分布式深度森林的鲁棒性。CERT-DF 框架在 Ray 平台上进行实现,并基于七个知名的基准数据集进行了广泛的实验,评估结果表明 CERT-DF 在计算效率、模型精度、系统资源开销和系统鲁棒性方面优于最先进的方法。 阅读全文
posted @ 2024-03-17 16:07 乌漆WhiteMoon 阅读(13) 评论(0) 推荐(0) 编辑