穷酸秀才大艹包

摘要： 联邦学习是现代大规模机器学习中的一个关键场景。在这种情况下，训练数据仍然分布在大量的客户机上，这些客户机可能是电话、其他移动设备或网络传感器，并且在不通过网络传输客户机数据的情况下学习集中式模型。此方案中使用的标准优化算法是联邦平均（FedAvg）。然而，当客户端数据是异质的（这在应用程序中是典型的）时，FedAvg并不能保证良好的收敛性。这是因为客户机上的本地更新可能会发散开来，这也解释了FedAvg在实践中的缓慢收敛和难以调整的特性。本文提出了一种新的随机控制平均算法（SCAFFOLD），该算法利用控制变量来减少不同客户之间的漂移。我们证明了该算法需要的通信次数明显减少，并且有良好的收敛性保证。 阅读全文

摘要： 联邦学习允许多个参与方在其整合数据上联合训练一个深度学习模型，而无需任何参与方将其本地数据透露给一个集中的服务器。然而，这种形式的隐私保护协作学习的代价是训练期间的大量通信开销。为了解决这个问题，分布式训练文献中提出了几种压缩方法，这些方法可以将所需的通信量减少三个数量级。然而，这些现有的方法在联邦学习设置中的实用性有限，因为它们只压缩从客户端到服务器的上行通信（而下行通信未压缩），或者仅在理想化的条件下良好地执行，例如客户端数据的IID分布，这通常不符合在联邦学习的实际情况。在这项工作中，我们提出稀疏三元压缩（Sparse Ternary Compression，STC），这是一个新的压缩框架，专门为满足联邦学习环境的要求而设计的。STC用一种新的机制扩展了现有的top-k梯度稀疏化压缩技术，以实现下游压缩以及权重更新的三元化和最优Golomb编码。我们对四种不同学习任务的实验表明，在常见的联邦学习场景中，STC明显优于联邦平均，在这些场景中，客户机 a）持有non-iid数据，b）在训练期间使用小批量，或者 c）客户机数量多，参与每轮通信的比率低。 阅读全文

摘要： 郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ 以下是对本文关键部分的摘抄翻译，详情请参见原文。 Abstract 移动应用程序已经成为我们日常生活中不可或缺的一部分，但许多应用程序的设计都不具备能源意识，因此它们可能会以浪费的方式消耗移动设备上有限的资源。盲目地限制大量的资源使用，在 阅读全文

摘要： 我们解决了非i.i.d.情况下的联邦学习问题，在这种情况下，局部模型漂移，抑制了学习。基于与终身学习的类比，我们将灾难性遗忘的解决方案改用在联邦学习上。我们在损失函数中加入一个惩罚项，强迫所有局部模型收敛到一个共享的最优值。我们表明，这可以有效地进行通信（不增加进一步的隐私风险），在分布式设置中随着节点数量的增加而扩展。实验结果表明，该方法在MNIST数据集上的识别效果优于同类方法。 阅读全文

摘要： 以HTTPS方式进行git clone时出现如下错误: 方法1：增大缓存 git config http.postBuffer 524288000 尝试无效； 方法2：配置git的最低速度和最低速度时间，单位(秒) git config --global http.lowSpeedLimit 0 g 阅读全文

摘要： 联邦学习是一种很有前途的机器学习方法，它利用来自多个节点（如移动设备）的分布式个性化数据集来提高性能，同时为移动用户提供隐私保护。在联邦学习中，训练数据广泛分布在移动设备上，作为用户得到维护。中央聚合方通过使用移动设备的本地训练数据从移动设备收集本地更新来更新全局模型，以在每次迭代中训练全局模型。然而，不可靠的数据可能被移动设备（即用户）上传，从而导致联邦学习任务中的欺诈。用户可能故意执行不可靠的更新，例如数据中毒攻击，或无意执行，例如由能量限制或高速移动引起的低质量数据。因此，在联邦学习任务中找到可信和可靠的用户变得至关重要。本文引入信誉的概念作为度量标准。在此基础上，提出了一种用于联邦学习任务的可靠用户选择方案。联盟链被用作一种去中心化的方法，以实现对用户的有效信誉管理，而无需拒绝和篡改。通过数值分析，证明了该方法可以提高移动网络中联邦学习任务的可靠性。 阅读全文

摘要： 1、进入Github文件夹，打开对应文件； 2、右键单击Raw，然后目标另存为即可。 阅读全文

摘要： 能量收集技术为未来的物联网应用提供了一个很有前景的平台。然而，由于这些设备中的通信非常昂贵，应用程序将需要“超出边缘”的推理，以避免在无意义的通信上浪费宝贵的能量。我们的结果表明，应用程序性能对推理精度非常敏感。不幸的是，精确的推理需要大量的计算和内存，而能量收集系统的资源严重受限。此外，能量收集系统间歇运行，经常发生电力故障，这会破坏结果，阻碍前进。 阅读全文

摘要： 在mxnet框架中加入（同态）加密时的探索记录笔记 阅读全文

摘要： 最优化理论与方法学习笔记 一、引论 1、范数 Frobenius范数： 加权Frobenius范数和加权l2范数（其中M是n x n的对称正定矩阵）： 椭圆向量范数： 特别，我们有 关于范数的几个重要不等式是： 2、无约束问题的最优性条件 3、最优化方法的结构 二、一维搜索 1、引论 所谓一维搜索， 阅读全文