2020年4月19日

联邦学习中的隐私研究

摘要: 当今的AI仍然面临两个主要挑战: 一是在大多数行业中,数据以孤立的孤岛形式存在。 另一个是加强数据隐私和安全性。 我们为这些挑战提出了一种可能的解决方案: 安全的联邦学习 。 联邦学习是一种新兴的机器学习方案。与传统的集中式机器学习不同,联邦学习通过将训练任务下放到用户侧,仅将训练得到的模型参数结果 阅读全文

posted @ 2020-04-19 20:00 20189223 阅读(2813) 评论(4) 推荐(2) 编辑

2020年4月17日

优秀博客链接

摘要: 1.显卡更新驱动教程:https://zhuanlan.zhihu.com/p/52273224 2.cudn及cudnn安装教程:https://blog.csdn.net/m0_37872216/article/details/103136477 3.谷歌免费使用GPU教程:https://ww 阅读全文

posted @ 2020-04-17 12:23 20189223 阅读(152) 评论(0) 推荐(0) 编辑

2020年4月2日

【论文学习11】GIANT: Globally Improved Approximate Newton Method for Distributed Optimization

摘要: 前言 分布式算法中经常使用梯度信息来进行优化,一阶方法有:SGD、加速SGD、方差减少SGD、随机坐标减少、双坐标提升方法。这些方法减少了本地计算,但同时需要更多迭代次数和更多的通信量。 Summary 1. For big data problems, distributed optimizati 阅读全文

posted @ 2020-04-02 16:42 20189223 阅读(467) 评论(0) 推荐(0) 编辑

2020年3月30日

【论文学习10】PROCHLO: Strong Privacy for Analytics in the Crowd

摘要: Encoder(编码) 编码器在用户的客户端上运行,对数据进行转换和监控以此来保护敏感数据,通过引入随机噪音或者将数据分成小部分,加密之后将结果传输给shufflers。编码器可以应用随机响应或添加噪音来保护本地差分隐私,虽然有效果,但是实用性不强。所以提出了一种 基于秘密分享的PROCHLO编码器 阅读全文

posted @ 2020-03-30 22:09 20189223 阅读(613) 评论(0) 推荐(0) 编辑

2020年3月28日

【论文学习9】Prio: Private, Robust, and Scalable Computation of Aggregate Statistics

摘要: abstract 本论文提出了一种用于收集统计信息的隐私保护系统Prio。每个客户机有私有数据值,一小部分服务器对所有客户端的值计算统计函数。只要有一台服务器是诚实的,Prio服务器就不会了解到用户的信息,除了他们可以从系统计算推断出聚合数值。采用新的加密技术SNIPs,使之能够收集大量有用的统计数 阅读全文

posted @ 2020-03-28 16:55 20189223 阅读(945) 评论(0) 推荐(0) 编辑

2020年3月23日

【论文学习8】TernGrad: Ternary Gradients to Reduce Communication in Distributed Deep Learning

摘要: 演讲摘要(即论文摘要) 作者视频讲解:https://www.youtube.com/watch?v=WWWQXTb_69c&feature=youtu.be&t=20s 摘要 分布式训练的瓶颈为同步梯度和参数的高网络通信成本。在论文中,我们提出了三元梯度来加速分布式学习。只需要一个三元数组{ 1, 阅读全文

posted @ 2020-03-23 12:13 20189223 阅读(957) 评论(0) 推荐(0) 编辑

2020年3月20日

【论文学习7】Practical Secure Aggregation for Privacy-Preserving Machine Learning

摘要: INTRODUTION left:在云中心的机器智能中,用户设备与云中心模型进行交互,生成日志来训练模型。用户日志组合到一起后来提高模型,用于之后的服务器用户请求。 Middle:在联邦学习中,模型被运送到用户设备上,在本地进行评估和训练。改进之后的模型传给服务器,在服务器端产生一个新模型然后在应用 阅读全文

posted @ 2020-03-20 09:55 20189223 阅读(3850) 评论(2) 推荐(3) 编辑

2020年3月19日

【论文学习6】Matrix Sketching for Secure Collaborative Machine Learning

摘要: 2017年和2019年发表的两篇论文展示出可以从梯度和参数中推断出用户的信息。 这篇论文中为了防止直接传递梯度和参数,在传递过程中使用了一个随机矩阵,使得在每次迭代过程中梯度、参数和数据都是随机变化的。 阅读全文

posted @ 2020-03-19 13:30 20189223 阅读(650) 评论(0) 推荐(0) 编辑

2020年3月12日

联邦学习(Federated learning)

摘要: 1.communication efficient algorithms parallel gradient descent Federated Averaging Algorithm 比较 (epoch相当于计算量) 结论:FedAvg减少了通信量,增加了计算量 2.defense against 阅读全文

posted @ 2020-03-12 15:27 20189223 阅读(1694) 评论(0) 推荐(0) 编辑

分布式机器学习

摘要: 最小二乘回归(最小化损失函数求解最优参数w) 并行梯度下降求解最小二乘回归 客户端 服务器架构 点对点架构 并行梯度下降(Synchronous parallel Gradient Descent) MapReduce(message passing,client server,Synchronou 阅读全文

posted @ 2020-03-12 15:11 20189223 阅读(658) 评论(0) 推荐(0) 编辑

导航