联邦学习论文阅读笔记11 FGFL: A blockchain-based fair incentive governor for Federated Learning
面对的问题:激励分配不均、攻击者欺骗
方法:提出FGFL模型。1)设计了时间衰减SLM算法度量工作者声誉;2)设计了基于梯度相似度的轻量级方法度量工作者贡献;3)提出了一种公平的激励机制FGFL,任务发布者根据声誉与贡献乘积确定worker报酬份额,并通过实践验证了方法有效性;4)通过基于区块链的联邦学习管理系统FG-chain实现了联邦学习安全管理(可信培训及交易);5)FGFL是FL中第一个抗攻击的收益共享方案,防止了攻击者导致的系统收益下降。
行文结构:2.相关工作->3.FL背景->4.FGFL->5.实验->6.总结
相关工作:介绍了现有的三个方面工作的不足:1)安全威胁方面工作缺乏惩罚攻击者能力;2)现有激励机制方面工作通信及存储成本高,且未考虑来自攻击者的潜在风险;3)现有区块链与FL结合方面工作没兼顾训练可信和公平激励
FL背景:1)集中式架构;2)分布式架构;3)多中心联合学习 本文采用的是第三种,因为第三种模型架构灵活、有容错、开销成本低且易推广到集中式和分布式
FGFL:包含公平激励调节器和激励管理系统
公平激励调节器包含五个模块:攻击检测器、信誉模块、贡献模块、激励模块和激励反馈模块。 工作流程:攻击检测模块接受worker攻击梯度,剔除有害攻击梯度->信誉模块根据历史检测结果顺序度量工作者信誉->贡献模块计算worker效用->激励模块使用声誉和贡献的乘积确定工人的报酬份额。激励反馈模块用于根据反馈信息搜索员工的最优培训策略。
攻击检测模块:攻击检测过程主要由以下三个步骤组成。首先,每个服务器计算其局部梯度切片与从工人接收的切片之间的梯度距离,以生成局部检测分数。之后,任务发布者将来自所有服务器的本地检测分数进行聚合并求平均值以计算全局检测分数。然后,任务发布者通过将其全局检测分数与攻击检测阈值进行比较来确定工作者是否是恶意的。
信誉模块:使用带时间衰减的权重加在SLM评估方法上,较早的事情具有较低权重,较迟的事情具有较高的权重。SLM以三元组(信任、不信任、不确定性)的形式计算信任分数从而评估信誉。最终声誉近似等于工人产生有用梯度的概率。
贡献模块:
浙公网安备 33010602011771号