随笔分类 -  论文阅读

【流行前沿】DRAG Divergence-based Adaptive Aggregation in Federated learning on Non-IID Data
摘要：构造一个reference direction，并在此基础上通过向量角度降低联邦学习中异构数据带来的梯度分散 阅读全文
posted @ 2023-09-27 16:30 木坑 阅读(101) 评论(0) 推荐(0)
【流行前沿】Text + Sketch Image Compression at Ultra Low Rates
摘要：语义信息+结构信息，用文本图像生成模型来做模型的压缩传输 阅读全文
posted @ 2023-09-27 11:28 木坑 阅读(318) 评论(0) 推荐(0)
【流行前沿】Fundamentals of Task-Agnostic Data Valuation
摘要：我们评判一个数据，不一定只建立在某一个固定的维度上（如仅仅是分布距离），而是可以客观准确地分别建立各个重要维度的评判，让用户根据自己的需求来选择。此时关键的问题就在于如何设计相互兼容（数量级相近）、来源统一（不是简单加和）的评判指标。 阅读全文
posted @ 2022-09-06 14:35 木坑 阅读(158) 评论(0) 推荐(0)
【流行前沿】Communication Efficient Federated Learning with Adaptive Quantization
摘要：今天分享一篇研究联邦学习中量化位数设计的文章，作者YUZHU MAO来自清华深圳研究院，文章发表在ACM Trans. Intell. Syst. Technol. 2022上。 阅读全文
posted @ 2022-07-24 18:35 木坑 阅读(579) 评论(0) 推荐(0)
【流行前沿】QSFL: A Two-Level Uplink Communication Optimization Framework for Federated Learning
摘要：分享一篇研究模型细粒度传输的联邦学习文章，作者Liping Yi来自于南开大学，发表在ICML 2022。 阅读全文
posted @ 2022-07-18 19:27 木坑 阅读(463) 评论(0) 推荐(0)
【一周聚焦】 联邦学习 arxiv 3.11-3.18
摘要：本周arxiv联邦学习论文整理与推荐 阅读全文
posted @ 2022-03-19 22:30 木坑 阅读(525) 评论(0) 推荐(0)
【一周聚焦】 联邦学习 arxiv 2.16-3.10
摘要：本周arxiv联邦学习论文整理与推荐 阅读全文
posted @ 2022-03-13 10:41 木坑 阅读(1244) 评论(0) 推荐(0)
【论文考古】量化SGD Federated Learning with Quantization Constraints
摘要：以减小量化后参数误差为目标，利用格编码和多用户合并时的增益，提升联邦学习的性能表现 阅读全文
posted @ 2022-03-10 13:00 木坑 阅读(423) 评论(0) 推荐(0)
【论文考古】量化SGD QSGD: Communication-Efficient SGD via Gradient Quantization and Encoding
摘要：本文以梯度方差为中间变量，研究得到了parallel SGD中量化比特数与收敛性的关系；在重申随机取整重要性的基础上，将方差打造成了新的研究热点 阅读全文
posted @ 2022-03-08 19:59 木坑 阅读(2415) 评论(0) 推荐(0)
【论文考古】量化SGD Deep Learning with Limited Numerical Precision
摘要：使用无偏的随机取整的16比特定点数来训练神经网络，得到了与浮点数训练几乎一样的性能 阅读全文
posted @ 2022-03-07 20:34 木坑 阅读(371) 评论(0) 推荐(0)
【论文考古】分布式优化 Communication Complexity of Convex Optimization
摘要：通过交换最少数量的操作指令来进行凸函数和的分布式优化 阅读全文
posted @ 2022-02-27 20:06 木坑 阅读(199) 评论(0) 推荐(0)
【论文考古】神经网络优化 Qualitatively Characterizing Neural Network Optimization Problems
摘要：通过参数的凸组合来检验直线路径上是否有最优点或高loss的障碍 阅读全文
posted @ 2022-02-25 18:39 木坑 阅读(304) 评论(0) 推荐(0)
【论文考古】联邦学习开山之作 Communication-Efficient Learning of Deep Networks from Decentralized Data
摘要：联邦学习通过加强用户的本地训练来减少参数聚合的通信次数，在异构数据下依然十分有效 阅读全文
posted @ 2022-02-21 20:55 木坑 阅读(2367) 评论(0) 推荐(1)
【流行前沿】联邦学习 Partial Model Averaging in Federated Learning: Performance Guarantees and Benefits
摘要：在联邦学习中通过高频分部地更新网络参数来降低用户模型间的差异 阅读全文
posted @ 2022-02-17 17:07 木坑 阅读(178) 评论(0) 推荐(0)
【流行前沿】联邦学习 Federated Learning with Only Positive Labels
摘要：通过拉开各个标签在嵌入空间的距离，使得只有一类数据的用户也能进行联邦学习 阅读全文
posted @ 2022-02-15 19:03 木坑 阅读(431) 评论(0) 推荐(0)
【论文考古】知识蒸馏 Distilling the Knowledge in a Neural Network
摘要：知识蒸馏是模型融合的经典方法 阅读全文
posted @ 2022-02-13 15:29 木坑 阅读(307) 评论(0) 推荐(0)
【论文考古】Training a 3-Node Neural Network is NP-Complete
摘要：神经网络的训练需要较高算力 阅读全文
posted @ 2022-02-10 17:42 木坑 阅读(165) 评论(0) 推荐(0)