02 2022 档案

【课程笔记】中科大凸优化（二）
摘要：根据线性组合的不同系数要求，将集合进一步划分为仿射集、凸集、凸锥 阅读全文
posted @ 2022-02-28 19:16 木坑 阅读(707) 评论(0) 推荐(0)
【课程笔记】中科大信息论（二）
摘要：计算几何分布的熵，利用IT不等式证明离散信源熵的上界 阅读全文
posted @ 2022-02-28 16:03 木坑 阅读(963) 评论(0) 推荐(0)
【论文考古】分布式优化 Communication Complexity of Convex Optimization
摘要：通过交换最少数量的操作指令来进行凸函数和的分布式优化 阅读全文
posted @ 2022-02-27 20:06 木坑 阅读(189) 评论(0) 推荐(0)
【课程笔记】中科大凸优化（一）
摘要：凸规划中的所有函数都是凸函数，且一定能在多项式时间内求解 阅读全文
posted @ 2022-02-26 20:57 木坑 阅读(183) 评论(0) 推荐(0)
【论文考古】神经网络优化 Qualitatively Characterizing Neural Network Optimization Problems
摘要：通过参数的凸组合来检验直线路径上是否有最优点或高loss的障碍 阅读全文
posted @ 2022-02-25 18:39 木坑 阅读(293) 评论(0) 推荐(0)
【编程积累】在tensorboard里绘制多条曲线
摘要：注意区分SummaryWriter中的文件、标签、横纵坐标的位置 阅读全文
posted @ 2022-02-24 16:53 木坑 阅读(874) 评论(0) 推荐(0)
【课程笔记】中科大信息论（一）
摘要：讲解了信息论的基本背景，看了B站的“5G，华为，土耳其——我花了两个月，搞懂了5G背后的秘密”，布置作业复习离散概率论 阅读全文
posted @ 2022-02-23 15:25 木坑 阅读(172) 评论(0) 推荐(0)
【论文考古】联邦学习开山之作 Communication-Efficient Learning of Deep Networks from Decentralized Data
摘要：联邦学习通过加强用户的本地训练来减少参数聚合的通信次数，在异构数据下依然十分有效 阅读全文
posted @ 2022-02-21 20:55 木坑 阅读(2330) 评论(0) 推荐(1)
【读书笔记】贝叶斯学习
摘要：贝叶斯学习指在当前训练样本的基础上，根据新样本更新每个模型的后验概率 阅读全文
posted @ 2022-02-18 19:45 木坑 阅读(429) 评论(0) 推荐(1)
【读书笔记】贝叶斯原理
摘要：利用变量间的相关性，用新得到的可观测变量的信息来更新对不可观测变量的估计 阅读全文
posted @ 2022-02-18 13:19 木坑 阅读(296) 评论(1) 推荐(1)
【流行前沿】联邦学习 Partial Model Averaging in Federated Learning: Performance Guarantees and Benefits
摘要：在联邦学习中通过高频分部地更新网络参数来降低用户模型间的差异 阅读全文
posted @ 2022-02-17 17:07 木坑 阅读(173) 评论(0) 推荐(0)
【流行前沿】联邦学习 Federated Learning with Only Positive Labels
摘要：通过拉开各个标签在嵌入空间的距离，使得只有一类数据的用户也能进行联邦学习 阅读全文
posted @ 2022-02-15 19:03 木坑 阅读(402) 评论(0) 推荐(0)
【科研工具】如何判断研究工作的价值和新意
摘要：用有新意的方法有效的解决一个研究问题 阅读全文
posted @ 2022-02-14 17:06 木坑 阅读(180) 评论(0) 推荐(1)
【论文考古】知识蒸馏 Distilling the Knowledge in a Neural Network
摘要：知识蒸馏是模型融合的经典方法 阅读全文
posted @ 2022-02-13 15:29 木坑 阅读(286) 评论(0) 推荐(0)
【论文考古】Training a 3-Node Neural Network is NP-Complete
摘要：神经网络的训练需要较高算力 阅读全文
posted @ 2022-02-10 17:42 木坑 阅读(161) 评论(0) 推荐(0)