穷酸秀才大艹包

摘要： 现代移动设备可以访问大量适合模型学习的数据，从而大大改善设备上的用户体验。例如，语言模型可以改善语音识别和文本输入，图像模型可以自动选择好的照片。然而，这些丰富的数据往往对隐私敏感，数量庞大，或者两者兼而有之，这可能会妨碍登录到数据中心并使用传统方法进行训练。我们提倡一种替代方法，将训练数据分布在移动设备上，并通过聚集本地计算的更新来学习共享模型。我们将这种去中心化的方法称为联邦学习。我们提出了一种基于迭代模型平均的深度网络联邦学习的实用方法，并对五种不同的模型结构和四种数据集进行了广泛的实证评估。这些实验表明，该方法对不平衡和非独立同分布（non-IID）的数据分布具有鲁棒性，这是该设置的一个定义特征。通信成本是主要的限制条件，与同步随机梯度下降相比，我们所需的通信轮数减少了10–100倍。 阅读全文