穷酸秀才大艹包

摘要：联邦学习允许边缘设备协同学习共享模型，同时将训练数据保留在设备上，将模型训练能力与将数据存储在云中的需求分离开来。针对例如卷积神经网络（CNNs）和LSTMs等的现代神经网络结构的联邦学习问题，我们提出了联邦匹配平均（FedMA）算法。FedMA通过对特征提取到的具有相似特征的隐元素（即卷积层的通道；LSTM的隐状态；全连接层的神经元）进行匹配和平均，按层构建共享全局模型。我们的实验表明，FedMA训练的深度CNN和LSTM结构在实际数据集上优于流行的最新联邦学习算法，同时提高了通信效率。 阅读全文

摘要：联邦学习（FL）是一种机器学习环境，其中许多客户端（如移动设备或整个组织）在中央服务器（如服务提供商）的协调下协同训练模型，同时保持训练数据去中心化。FL体现了集中数据收集和最小化的原则，可以减轻传统的中心化机器学习和数据科学方法带来的许多系统隐私风险和成本。在FL研究爆炸式增长的推动下，本文讨论了近年来的进展，提出了大量的开放性问题和挑战。 阅读全文

摘要：如今的智能个人助理，如Apple Siri、Google Now和Microsoft Cortana，都是在云端进行计算的。这种仅限云计算的方法需要通过无线网络将大量数据发送到云计算，并给数据中心产生了巨大的计算压力。然而，随着移动设备中的计算资源变得更加强大和高效，出现了这样的问题：这种只使用云计算的处理是否值得推进，以及将部分或全部计算推到边缘的移动设备上意味着什么。 阅读全文

摘要：尽管深度神经网络取得了巨大的成功，但对抗性攻击可以通过小扰动欺骗一些训练有素的分类器。在本文中，我们提出了另一种类型的对抗性攻击，可以通过显著的变化欺骗分类器。例如，我们可以显著地改变一张脸，但是训练有素的神经网络仍然将对手和原来的例子识别为同一个人。统计上，现有的对抗攻击增加了II型错误，并且所提出的攻击针对I型错误，因此分别命名为II型和I型对抗攻击。这两种类型的攻击同样重要，但本质上不同，这是直观的解释和数值评估。为了实现该攻击，设计了一个有监督的变分自编码器，然后利用梯度信息更新潜在变量对分类器进行攻击。此外，利用预训练生成模型，研究了隐空间的I型攻击。实验结果表明，该方法在大规模图像数据集上生成I型对抗样本是实用有效的。大多数生成的示例都可以通过为防御II型攻击而设计的检测器，并且增强策略仅对特定类型的攻击有效，这都意味着I型和II型攻击的根本原因不同。 阅读全文

摘要：联邦学习涉及在大规模分布式网络中训练机器学习模型。虽然联邦平均（FedAvg）是在该设置中训练非凸模型的主要优化方法，但在实际的联邦设置中，当跨统计异质设备（即每个设备以不同的方式收集数据）学习时，它的表现并没有得到很好的理解。在这项工作中，我们引入了一个处理统计异质性的框架FedProx，它将FedAvg作为一个特例。我们通过设备差异性假设为FedProx提供了收敛保证，该假设允许我们描述网络中的异构性。最后，我们对一组联邦数据集进行了详细的实证评估，验证了我们的理论分析，并证明了相对于FedAvg，广义FedProx框架在异构网络中学习更具有鲁棒性和稳定性。 阅读全文