2021年10月30日
分布式多任务学习：同步和异步优化算法
摘要： 分布式多任务学习：同步和异步优化算法 对于多任务学习，当任务数量很大时，其计算复杂度很高，此时需要用多CPU/多GPU对学习算法进行加速，尽量使𝐾个任务的梯度的计算分摊到𝐾个不同的工作节点(worker)上。但实际上由于正则项的存在和损失函数的复杂性，想做到这个需要我们仔细地设计并行多任务学习算法，在保证算法加速的同时而尽量不影响优化算法最终的收敛，并保证优化算法结果的一致性。我们将会从MTL的单机优化方法开始，逐步说明分布式优化的必要性并先后介绍它的两种主要实现手段——同步分布式优化算法和异步分布式优化算法。 阅读全文
posted @ 2021-10-30 22:15 orion-orion 阅读(1980) 评论(1) 推荐(0)
并行计算：高性能计算学习路线（针对大二同学）
摘要： 并行计算：高性能计算学习路线（针对大二同学） 给组里高性能计算方向同学拟的学习路线，包括基础课程、常备文档和手册、开源项目三个部分组成。基础课程包括“（并行）算法设计与分析”、“数值算法”、计算机系统、操作系统和并行体系结构与编程，常备文档和手册包括了C/C++语言文档、CUDA文档、MPI文档、Unix编程文档和太湖之光平台的文档等。开源项目包括了基础课程的习题解答与lab代码、一些并行算法优化样例以及一些并行计算相关比赛的项目实战。 阅读全文
posted @ 2021-10-30 16:01 orion-orion 阅读(9695) 评论(5) 推荐(3)