摘要：我们为机器学习中的分布式优化引入了一个越来越相关的新设置，其中规定优化的数据在极大量的节点上分布不均匀。我们的目标是训练一个高质量的集中式模型。我们将此设置称为联邦优化。在这种情况下，通信效率至关重要，最大限度地减少通信轮数是主要目标。 阅读全文

摘要：今天的人工智能仍然面临两大挑战。一种是，在大多数行业中，数据以孤岛的形式存在。二是加强数据隐私和安全。我们提出了一个解决这些挑战的可能方案：安全联邦学习。除了谷歌在2016年首次提出的联邦学习框架外，我们还引入了一个全面的安全联邦学习框架，其中包括横向联邦学习、纵向联邦学习和联邦迁移学习。我们为联邦学习框架提供定义、架构和应用程序，并提供关于这个主题的现有工作的全面调查。此外，我们提出在组织之间建立基于联邦机制的数据网络，作为一种有效的解决方案，以允许在不损害用户隐私的情况下共享知识。 阅读全文

摘要：现代移动设备可以访问大量适合模型学习的数据，从而大大改善设备上的用户体验。例如，语言模型可以改善语音识别和文本输入，图像模型可以自动选择好的照片。然而，这些丰富的数据往往对隐私敏感，数量庞大，或者两者兼而有之，这可能会妨碍登录到数据中心并使用传统方法进行训练。我们提倡一种替代方法，将训练数据分布在移动设备上，并通过聚集本地计算的更新来学习共享模型。我们将这种去中心化的方法称为联邦学习。我们提出了一种基于迭代模型平均的深度网络联邦学习的实用方法，并对五种不同的模型结构和四种数据集进行了广泛的实证评估。这些实验表明，该方法对不平衡和非独立同分布（non-IID）的数据分布具有鲁棒性，这是该设置的一个定义特征。通信成本是主要的限制条件，与同步随机梯度下降相比，我们所需的通信轮数减少了10–100倍。 阅读全文

摘要：微众银行FATE联邦学习框架 阅读全文