横向、纵向和迁移学习_联邦学习

横向、纵向和迁移学习_联邦学习

1. 横向联邦学习

​ 横向联邦学习适用于联邦学习的参与方的数据有重叠的数据特征， 即数据特征在参与方之间是对齐的，但是参与方拥有的数据样本是不同 的。它类似于在表格视图中将数据水平划分的情况。因此，我们也将横 向联邦学习称为按样本划分的联邦学习（Sample-Partitioned Federated Learning或Example-Partitioned Federated Learning），B2C

特征空间设为X，数据标签（label）空间设 为Y，并用表示数据样本ID空间。

当联邦学习的参与方是两家服务于不同区域市场的银行时， 它们虽然可能只有很少的重叠客户，但是客户的数据可能因为相似的商业模式而有非常相似的特征空间。这意味着，这两家银行的用户的重叠 部分较小，而数据特征的重叠部分较大，这两家银行就可以通过横向联 邦学习来协同建立一个机器学习模型。

2. 纵向联邦学习

​ 纵向联邦学习适用于联邦学习参与方的训练数据有重叠的数据样 本，即参与方之间的数据样本是对齐的，但是在数据特征上有所不同。 它类似于数据在表格视图中将数据垂直划分的情况。因此，我们也将纵 向联邦学习命名为按特征划分的联邦学习（Feature-Partitioned Federated Learning）。B2B

特征空间设为X，数据标签（label）空间设 为Y，并用表示数据样本ID空间。

当两家公司（例如，一家银行和一家电子商务公司）提供不同的服 务，但在客户群体上有非常大的交集时，它们可以在各自的不同特征空 间上协作，为各自得到一个更好的机器学习模型。换言之，用户上的重 叠部分较大，而数据特征的重叠部分较小，则这两家公司可以协作地通 过纵向联邦学习方式训练机器学习模型。

3. 联邦迁移学习

​ 联邦迁移学习解决的是数据集之间的差异、重叠样本和特征不足、分布情况悬殊等问题。迁移学习的本质是发现资源丰富的源域（source domain）和资源稀缺的目标域（target domain）之间的不变性（或相似性），并利用该不变性在两个领域之间传输知识。

从技术角度来看，联邦迁移学习和传统的迁移学习主要有以下两方面的不同：

• 联邦迁移学习基于分布在多方的数据来建立模型，并且每一方 的数据不能集中到一起或公开给其他方。传统迁移学习没有这样的 限制。
• 联邦迁移学习要求对用户隐私和数据（甚至模型）安全进行保 护，这在传统迁移学习中并不是一个主要关注点。

特征空间设为X，数据标签（label）空间设 为Y，并用表示数据样本ID空间。