联邦机器学习-引言

联邦机器学习

联邦机器学习，通过加密下的参数交换，建立一个共有的模型
满足用户隐私保护、数据安全和政府法规的要求下,进行。

相关概念

1. 横向联邦：数据矩阵的横向的一行表示一条训练样本，纵向的一列表示一个数据特征。横向联邦学习的参与者的数据特征数是一致的，往往是增加训练样本总量。
2. 纵向联邦学习： 联合多个参与者的共同样本的不同数据特征进行联邦学习，即各个参与者的训练数据是纵向划分的。

相关框架

1. 联邦学习FATE (Federated AI Technology Enabler)：是微众银行AI团队自主研发的开源联邦学习框架,为联邦AI生态提供了一种安全计算框架

2. TensorFlow Federated：运行于谷歌的开源深度学习框架TensorFlow之上，方便科研人员和应用开发者基于分布式的数据（即数据没有集中在一起）来训练全局模型。[1]

综述

摘要：讨论现有问题，介绍现有方法，展望未来

Federated learning involves training statistical models over remote devices or siloed data centers, such
as mobile phones or hospitals, while keeping data localized. Training in heterogeneous and potentially
massive networks introduces novel challenges that require a fundamental departure from standard
approaches for large-scale machine learning, distributed optimization, and privacy-preserving data
analysis. In this article, we discuss the unique characteristics and challenges of federated learning, provide
a broad overview of current approaches, and outline several directions of future work that are relevant to
a wide range of research communities

引言：数据本地化，边缘计算的需求，特别是后者由来已久，加之近年来边缘设备的算力和存储能力加强，引出讨论主题——联邦学习。
这和以往的分布式学习不同，这还涉及到隐私、大规模机器学习等问题。
例举了可穿戴设备（监督心脏病发作等），自动驾驶，医院，等。
这里自动驾驶中就说明,本地收集数据，更新权重，上传更新的权重，而不是实际的数据，而对于这种权重，却不是直接更新全局权重，具体是by联邦平均等算法，将这些来自不同车辆、不同数据分布的更新进行安全聚合，计算出一个能够代表全体知识进步的“全局模型更新，再将这种全局更新传递给其它设备。

手机上，人脸识别 next word 预测
都是本地学习，更新参数，本地的参数更适应本人的习惯，全局进行更新的参数更适应全局，更通用。