穷酸秀才大艹包

摘要：联邦学习使得大量的边缘计算设备在不共享数据的情况下共同学习模型。联邦平均法（FedAvg）是该算法中的一种主要算法，它在所有设备的一小部分上并行运行随机梯度下降（SGD），并每隔一段时间对序列进行平均。尽管它很简单，但在现实环境下却缺乏理论上的保障。本文分析了FedAvg在非iid数据上的收敛性，建立了强凸光滑问题的收敛速度O(1/T)，其中T是SGDs的迭代次数。重要的是，我们的界证明了通信效率和收敛速度之间的权衡。由于用户设备可能与服务器断开连接，我们将设备完全参与的假设放宽到部分设备参与，并研究了不同的平均方案；在不严重降低学习速度的情况下，可以实现低设备参与率。我们的结果表明，数据的异质性减缓了收敛速度，这与经验观测相符。此外，我们还为FedAvg在非iid数据上的收敛性提供了一个必要条件：即使使用全梯度，学习率也必须下降；否则，解将偏离最优解。 阅读全文

摘要：写本篇是为了记录一下之前阅读过的一些关于联邦学习的文章，然后对其中的一些关键点进行了总结，并加入了个人对于联邦学习这一研究领域的理解以及思考 阅读全文

摘要：郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ arXiv:1908.07873v1 [cs.LG] 21 Aug 2019 Abstract 联邦学习包括通过远程设备或孤立的数据中心（如移动电话或医院）训练统计模型，同时保持数据本地化。在异构和潜在的大规模网络中进行训练带来了新的挑战 阅读全文

摘要：最近的研究表明，在机器学习的背景下，去中心化算法比中心化算法能提供更好的性能。这两种方法的主要区别在于它们不同的通信模式，它们都容易在异构环境中性能下降。尽管人们一直致力于支持中心化算法来对抗异构性，但在去中心化算法中很少有人涉及到这个问题。 阅读全文

摘要：https://blog.csdn.net/shenziheng1/article/details/79472102 #include<stdio.h> C++ fopen/fwrite/fread 文件写入： FILE * fp; fp = fopen("data.txt","w"); if (f 阅读全文

摘要：转自https://blog.csdn.net/qq_27148893/article/details/88936044 这是在开发板上编译opencv的时候报了一个错，主要是在编译过程中，内存不够造成的。 解决方案： #count的大小就是增加的swap空间的大小，64M是块大小，所以空间大小是b 阅读全文

摘要：联邦学习是现代大规模机器学习中的一个关键场景。在这种情况下，训练数据仍然分布在大量的客户机上，这些客户机可能是电话、其他移动设备或网络传感器，并且在不通过网络传输客户机数据的情况下学习集中式模型。此方案中使用的标准优化算法是联邦平均（FedAvg）。然而，当客户端数据是异质的（这在应用程序中是典型的）时，FedAvg并不能保证良好的收敛性。这是因为客户机上的本地更新可能会发散开来，这也解释了FedAvg在实践中的缓慢收敛和难以调整的特性。本文提出了一种新的随机控制平均算法（SCAFFOLD），该算法利用控制变量来减少不同客户之间的漂移。我们证明了该算法需要的通信次数明显减少，并且有良好的收敛性保证。 阅读全文

摘要：联邦学习允许多个参与方在其整合数据上联合训练一个深度学习模型，而无需任何参与方将其本地数据透露给一个集中的服务器。然而，这种形式的隐私保护协作学习的代价是训练期间的大量通信开销。为了解决这个问题，分布式训练文献中提出了几种压缩方法，这些方法可以将所需的通信量减少三个数量级。然而，这些现有的方法在联邦学习设置中的实用性有限，因为它们只压缩从客户端到服务器的上行通信（而下行通信未压缩），或者仅在理想化的条件下良好地执行，例如客户端数据的IID分布，这通常不符合在联邦学习的实际情况。在这项工作中，我们提出稀疏三元压缩（Sparse Ternary Compression，STC），这是一个新的压缩框架，专门为满足联邦学习环境的要求而设计的。STC用一种新的机制扩展了现有的top-k梯度稀疏化压缩技术，以实现下游压缩以及权重更新的三元化和最优Golomb编码。我们对四种不同学习任务的实验表明，在常见的联邦学习场景中，STC明显优于联邦平均，在这些场景中，客户机 a）持有non-iid数据，b）在训练期间使用小批量，或者 c）客户机数量多，参与每轮通信的比率低。 阅读全文

摘要：郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ 以下是对本文关键部分的摘抄翻译，详情请参见原文。 Abstract 移动应用程序已经成为我们日常生活中不可或缺的一部分，但许多应用程序的设计都不具备能源意识，因此它们可能会以浪费的方式消耗移动设备上有限的资源。盲目地限制大量的资源使用，在 阅读全文

摘要：我们解决了非i.i.d.情况下的联邦学习问题，在这种情况下，局部模型漂移，抑制了学习。基于与终身学习的类比，我们将灾难性遗忘的解决方案改用在联邦学习上。我们在损失函数中加入一个惩罚项，强迫所有局部模型收敛到一个共享的最优值。我们表明，这可以有效地进行通信（不增加进一步的隐私风险），在分布式设置中随着节点数量的增加而扩展。实验结果表明，该方法在MNIST数据集上的识别效果优于同类方法。 阅读全文

摘要：以HTTPS方式进行git clone时出现如下错误: 方法1：增大缓存 git config http.postBuffer 524288000 尝试无效； 方法2：配置git的最低速度和最低速度时间，单位(秒) git config --global http.lowSpeedLimit 0 g 阅读全文