【三期胡宇】CCF-A(TIFS'20)Federated Learning with Differential Privacy: Algorithms and Performance Analysis

Kang Wei, ,Jun Li, Ming Ding, Chuan Ma, Howard H. Yang, Farhad Farokhi, Shi Jin, Tony Q. S. Quek and H. Vincent Poor, “Federated Learning with Differential Privacy: Algorithms and Performance Analysis,”in IEEE Transactions on Information Forensics and Security,2020.——CCF-A(TIFS)

  联邦学习能够有效保护客户的隐私数据免遭恶意者的攻击。 然而，仍然可以通过分析来自客户端的上传参数来窃取私人信息，例如，在深度神经网络中训练的权重。本文主要研究的是基于SGD中的FL中的信息泄漏问题。
  为了防止信息泄漏，本文提出了一种基于DP的框架：NbAFL，每个客户端在把本地训练后的模型中的参数上传到到服务器进行聚合之前添加噪声，来有目的地在本地扰动其训练过的参数。且本文证明了：提出的NbAFL方案在一定的噪声扰动水平下，通过适当地调整方差，可以满足全局数据在一定的噪声扰动水平下对DP的要求。本文在理论上发展了NbAFL中训练后的FL模型的损失函数的收敛范围。 从理论上的收敛范围来看，本文得到了以下结果：
  ①收敛性能和隐私保护水平之间存在权衡，即更好的收敛性能导致较低的隐私保护水平；
  ②给定固定的隐私保护级别，增加参与FL的总客户端数量N可以提高融合性能；
  ③对于给定的保护级别，在收敛性能方面有一个最佳的最大聚合次数。
  此外，本文提出了一种K客户端随机调度策略，并针对损失函数确定了相应的收敛边界。本文发现存在一个最优值K，可以在固定的隐私级别上实现最佳的收敛性能。

  本文优点：
  (1)本文是第一篇从理论上分析差分隐私FL算法的收敛特性的论文。
  (2)本文的分析结果对于在融合性能和隐私级别上具有不同权衡要求的FL体系结构的设计很有帮助。

  本文缺点：
  未从不同的客户端数据分布和数据集大小来评估NbAFL的收敛性能。

2020年10月16日