20189223

摘要：当今的AI仍然面临两个主要挑战： 一是在大多数行业中，数据以孤立的孤岛形式存在。 另一个是加强数据隐私和安全性。 我们为这些挑战提出了一种可能的解决方案： 安全的联邦学习 。 联邦学习是一种新兴的机器学习方案。与传统的集中式机器学习不同，联邦学习通过将训练任务下放到用户侧，仅将训练得到的模型参数结果 阅读全文

摘要：1.显卡更新驱动教程：https://zhuanlan.zhihu.com/p/52273224 2.cudn及cudnn安装教程：https://blog.csdn.net/m0_37872216/article/details/103136477 3.谷歌免费使用GPU教程：https://ww 阅读全文

摘要：前言 分布式算法中经常使用梯度信息来进行优化，一阶方法有：SGD、加速SGD、方差减少SGD、随机坐标减少、双坐标提升方法。这些方法减少了本地计算，但同时需要更多迭代次数和更多的通信量。 Summary 1. For big data problems, distributed optimizati 阅读全文

摘要：Encoder(编码) 编码器在用户的客户端上运行，对数据进行转换和监控以此来保护敏感数据，通过引入随机噪音或者将数据分成小部分，加密之后将结果传输给shufflers。编码器可以应用随机响应或添加噪音来保护本地差分隐私，虽然有效果，但是实用性不强。所以提出了一种 基于秘密分享的PROCHLO编码器 阅读全文

摘要：abstract 本论文提出了一种用于收集统计信息的隐私保护系统Prio。每个客户机有私有数据值，一小部分服务器对所有客户端的值计算统计函数。只要有一台服务器是诚实的，Prio服务器就不会了解到用户的信息，除了他们可以从系统计算推断出聚合数值。采用新的加密技术SNIPs，使之能够收集大量有用的统计数 阅读全文

摘要：演讲摘要（即论文摘要） 作者视频讲解：https://www.youtube.com/watch?v=WWWQXTb_69c&feature=youtu.be&t=20s 摘要 分布式训练的瓶颈为同步梯度和参数的高网络通信成本。在论文中，我们提出了三元梯度来加速分布式学习。只需要一个三元数组{ 1, 阅读全文

摘要：INTRODUTION left：在云中心的机器智能中，用户设备与云中心模型进行交互，生成日志来训练模型。用户日志组合到一起后来提高模型，用于之后的服务器用户请求。 Middle：在联邦学习中，模型被运送到用户设备上，在本地进行评估和训练。改进之后的模型传给服务器，在服务器端产生一个新模型然后在应用 阅读全文

摘要：2017年和2019年发表的两篇论文展示出可以从梯度和参数中推断出用户的信息。 这篇论文中为了防止直接传递梯度和参数，在传递过程中使用了一个随机矩阵，使得在每次迭代过程中梯度、参数和数据都是随机变化的。 阅读全文

摘要：1.communication efficient algorithms parallel gradient descent Federated Averaging Algorithm 比较 （epoch相当于计算量） 结论：FedAvg减少了通信量，增加了计算量 2.defense against 阅读全文

摘要：最小二乘回归（最小化损失函数求解最优参数w） 并行梯度下降求解最小二乘回归 客户端 服务器架构 点对点架构 并行梯度下降(Synchronous parallel Gradient Descent) MapReduce（message passing，client server,Synchronou 阅读全文