联邦学习中的持续学习技术

联邦学习与持续学习的结合

联邦学习使分布式设备能够利用本地数据贡献全局模型，同时保护数据隐私；持续学习则要求模型在新数据到来时不断更新。两者的结合面临关键挑战——如何避免"灾难性遗忘"，即新数据训练导致模型遗忘旧知识。

梯度多样性样本选择法

我们提出两种样本保留策略：

1. 非协调式：各设备本地优化梯度多样性，选择使梯度方向差异最大化的N个样本
2. 协调式：通过服务器协调全局梯度优化，特别适用于小容量设备（N=20时表现最优）

将NP难的整数规划问题松弛为分数系数优化，通过迭代计算实现高效求解。协调式方法通过梯度聚合保护数据隐私，仅需1-4次迭代即可收敛。

实验验证

在EMNLP 2023公布的实验结果中：

• N≥50时，非协调式方法显著优于基线
• N=20时，协调式方法相对准确率提升12%
• N≤10时传统随机采样更具优势

该方法为不同存储容量的边缘设备提供了自适应解决方案，相关代码已开源。

图示：协调式方法通过服务器聚合各设备梯度信息，计算全局最优样本保留策略
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）
公众号二维码