Broadband Analog Aggregation for Low-Latency Federated Edge Learning

郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！

为了利用分布在网络边缘的丰富数据，出现了一种新的机器学习范式，称为边缘学习，在边缘部署学习算法，为移动用户提供智能服务。在计算速度快速提高的同时，通信延迟正成为快速边缘学习的瓶颈。为了解决这个问题，这项工作的重点是设计一种用于边缘学习的低延迟多址接入方案。为此，我们考虑一个流行的隐私保护框架，联合边缘学习（FEEL），其中边缘服务器上的全局人工智能模型通过聚集（平均）在边缘设备上训练的局部模型来更新。提出利用多址信道的波形叠加特性，将设备在宽带信道上同时传输的更新模拟聚合为“空中”。与传统正交接入（即OFDMA）相比，这种宽带模拟聚合（BAA）导致显著的通信延迟减少。在这项工作中，BAA对学习绩效的影响是针对随机网络进行量化的。首先，我们推导了通信和学习度量之间的两个折衷，这对于网络规划和优化非常有用。BAA所需的功率控制（“截断信道反转”）导致更新可靠性[通过接收信噪比（SNR）测量]与预期更新率之间的折衷。考虑小区内部设备的调度来限制路径损耗。这导致了接收信噪比和学习中利用的数据比例之间的另一个折衷。其次，与传统OFDMA方案相比，所提出的BAA的延迟减少率几乎与设备数量成线性关系。基于神经网络和真实数据集的实验验证了理论结果。

在本文中，我们提出了一个低延迟感知的BAA框架。该设计利用多址信道的波形叠加特性进行通信效率的更新聚合。这项工作的意义在于找到了两个通信和学习折衷，即聚合所需的振幅对齐导致的信噪比截断折衷，以及限制路径损耗的小区内部设备调度导致的可靠性数量折衷。这些折衷是使用BAA的FEEL network的基础，可以为网络规划和优化提供有用的指导。此外，我们还证明了所提出的算法能够减少延迟.

broadband analog aggregation (BAA)

BAA通过利用同步传输和产生的波形叠加，在宽带多址信道上实现操作。与传统的正交访问相比，这导致了显著的延迟减少。我们通过推导一组通信和学习指标之间的权衡，并量化与传统设计相比的延迟减少，开发了BAA框架。
在边缘设备上本地计算的更新可以是模型参数[6]或梯度向量[7]，从而产生两种实现方法，即模型平均和梯度平均。
计算机科学家先前的工作重点是减少更新设备的数量和压缩信息以供传输。它代表了一种计算机科学方法，用于解决FEEL系统中的通信延迟问题。其中的无线信道被抽象为“比特管道”，忽略了利用信道的复杂特性（例如，衰落、多址和空间复用）来减少延迟的可能性。因此，解决此通信问题的更直接、也许更基本的方法是开发无线通信技术以支持低延迟感觉。我们在这项工作中采用了新的方法，重点是设计一个
多址接入方案，通信效率高。经典的正交接入方案（例如OFDMA或TDMA）是为支持独立链路而设计的。他们在边缘学习中的应用可能导致多访问延迟与边缘设备的数量成线性关系，因此是不充分的。为了克服这个缺点，我们提出了低延迟BAA方案，利用同步宽带传输在FEEL系统中实现“空中”更新聚合。

B. Over-the-Air Computation
当前的BAA方案建立在空中计算（AirComp）的经典理念之上。AirComp的思想可以追溯到研究传感器网络中函数计算的开创性工作[14]。该设计依赖于结构码（即格码）来处理多址信道引入的信道失真。这项工作的意义在于其反直觉的发现，即可以利用“干扰”来帮助计算。随后在[15]中发现，如果数据源是独立且同分布（i.i.d.）高斯分布，则无编码但具有信道预均衡的简单模拟传输可以实现最小失真。然而，如果源遵循更复杂的分布，如二元高斯分布[16]和相关高斯分布[17]，则编码对于其他设置仍然有用。模拟AirComp的令人满意的性能和简单性导致了一个关注稳健设计和性能分析的活跃领域[18]——
[21]. 特别是，在[18]和[19]中分别提出了分布式功率控制和抗信道估计误差的鲁棒AirComp技术。[20]和[21]分别提供了失真约束下AirComp停机性能的理论分析和计算速率，定义为每个时隙计算的函数数。另一种研究方法是通过原型化[22]将AirComp从理论转化为实践，并解决传感器同步的实际问题
[23], [24]. 在[23]中，作者建议将数据调制成传输功率，以放宽同步要求，从而使AirComp只需要粗块同步。[24]中开发了另一种称为AirShare的方案，该方案向所有设备广播一个共享时钟，以强制执行同步。
除了标量值函数计算，该领域的最新趋势还探索了多输入多输出（MIMO）技术，以实现向量值函数计算[25]–[27]，称为MIMO AirComp。特别是，在[25]中提出了一个MIMO AirComp的综合框架，该框架包括波束形成优化和有限反馈设计。该框架在随后的工作中扩展到无线供电的AirComp系统[26]，其中波束形成器与无线功率控制联合优化，以进一步降低AirComp失真，以及大规模MIMO AirComp系统[27]，其中，通过利用集群信道结构来降低信道反馈开销和信号处理复杂性，开发了一种降维双层波束形成器设计。
之前关于AirComp的工作主要针对传感器网络，因此只关注窄带系统。原因是，在实际系统中，传感器网络通常需要在专用窄带上进行低速率传输和通信，例如，用于窄带物联网（NB-IoT）的LTE[28]。相反，我们考虑宽带信道，因为在感觉系统中传输高维更新。然而，现有文献中不存在宽带AirComp的解决方案。这种设计以及AirComp对边缘学习绩效影响的研究在很大程度上是一个未知领域。这推动了BAA计划的发展及其在当前工作中的绩效分析。

C. Contribution and Organization

我们考虑在单小区无线网络中实现感测。为了减少网络中的通信延迟，提出了BAA方案，如下所述。每个设备在宽带信道上以块的形式传输高维更新（本地模型），使用线性模拟调制调制各个参数，并使用正交频分复用（OFDM）将信道划分为子信道。实现空中更新聚合需要从不同设备接收的模型参数具有相同的振幅，称为振幅对齐。这是通过在每个设备上进行宽带信道反转来实现的。由一组调度设备进行的信道反转和同时模拟OFDM传输允许服务器接收在设备处计算的本地模型/更新的期望平均值。
基于该方案，我们使用随机网络模型开发了BAA框架，其中多个边缘设备随机分布在一个磁盘区域中。为了描述我们的发现，有必要介绍一些与感知网络性能相关的指标，如下所示：
1） 接收信噪比：给定幅度校准，不同设备发送的更新的接收信噪比SNR相同。该指标是一个质量指标的模型更新的FEEL
2） 截断率：这是另一个更新质量度量。它是指在发射功率约束下，由于设备的信道反转而被截断的模型参数的预期比率。
3） 利用数据的分数：指在学习中利用的分布式数据集的分数。给定设备上的统一数据分布，度量与调度设备的分数相关。
The findings and the contributions from the framework development are as follows:
•两个通信和学习权衡：以闭合形式导出的第一个权衡是接收SNR和截断比之间的权衡，称为SNR截断权衡。权衡还表明，接收信噪比受到距离服务器最远的设备的路径损耗的限制，这是由于设备之间的振幅对齐造成的。这表明可以通过调度小区内部设备来提高接收信噪比。然而，这会导致数据丢失，从而导致第二个折衷，即接收SNR和利用数据分数之间的折衷。它被称为（更新）-可靠性-（数据）-数量权衡。上述两个权衡是使用BAA的感觉系统的基础，并且可以作为这方面进一步研究的有用工具。此外，为了通过复制和数据效率来改善这种折衷，我们提出了两种调度方案：一种是利用移动性，另一种是交替调度小区内部和小区边缘设备。
此外，在扩展版本的工作[29]中，还提出了BAA方案的扩展，以解决两个问题，即对抗性攻击的安全性和改善小区边缘设备链路可靠性的波束形成。
最后，值得一提的是，在这项工作[29]完成后，还报告了有趣的并行工作[30]，[31]，它们共享应用AirComp更新FEEL中聚合的共同主题。然而，其中的特定系统和设计与当前工作不同。这两项并行工作都以窄带单/多天线信道为目标，并侧重于算法设计以提高系统性能。具体而言，文献[30]中提出了一种利用梯度更新稀疏性进行压缩更新传输的信源编码算法。[31]中开发了一种设备选择算法，以在更新失真约束下最大化调度设备的数量。

B. Broadband Channel and Update Transmission

将模型更新从边缘设备上载到服务器是通过宽带多址通道进行的。为了应对频率选择性衰落和符号间干扰，采用OFDM调制将整个带宽划分为B到M个正交子信道。为了利用AirComp进行低延迟模型聚合，对模型更新进行幅度调制以进行模拟传输。此外，每个子信道专用于一个模型参数传输。