罗西的思考 - 博客园

2021年8月

摘要：为了更好的介绍参数服务器Paracel的数据加载，我们临时插入两篇PyTorch的数据加载，主要是从分布式的角度进行切入。本文介绍 DataLoader。阅读全文

posted @ 2021-08-18 08:12 罗西的思考阅读(4634) 评论(2) 推荐(1)

摘要：为了更好的介绍参数服务器Paracel的数据加载，我们临时插入两篇PyTorch的数据加载（因为字数太长，所以拆成两篇），主要是从分布式的角度进行切入。本文介绍 DistributedSampler。阅读全文

posted @ 2021-08-15 10:32 罗西的思考阅读(10307) 评论(0) 推荐(1)

摘要： Paracel是豆瓣开发的一个分布式计算框架，它基于参数服务器范式来解决机器学习的问题。本文主要分析其SSP的实现。阅读全文

posted @ 2021-08-13 20:16 罗西的思考阅读(731) 评论(0) 推荐(0)

摘要： Paracel是豆瓣开发的一个分布式计算框架，它基于参数服务器范式来解决机器学习的问题，本文介绍其主体结构。阅读全文

posted @ 2021-08-10 19:26 罗西的思考阅读(652) 评论(0) 推荐(0)

摘要：本文是参数服务器的第四篇，介绍KVWorker, KVServer。阅读全文

posted @ 2021-08-07 10:31 罗西的思考阅读(699) 评论(0) 推荐(0)

摘要：本文是参数服务器第三篇，介绍ps-lite的Customer模块。阅读全文

posted @ 2021-08-04 20:26 罗西的思考阅读(940) 评论(0) 推荐(0)

摘要：本文是参数服务器系列第二篇，介绍ps-lite的通信模块 Van。阅读全文

posted @ 2021-08-02 20:11 罗西的思考阅读(1104) 评论(0) 推荐(0)

2021年7月

摘要：参数服务器是机器学习训练一种范式，是为了解决分布式机器学习问题的一个编程框架。本文是参数服务器系列第一篇，介绍ps-lite的总体设计和基础模块 Postoffice。阅读全文

posted @ 2021-07-30 15:40 罗西的思考阅读(2338) 评论(0) 推荐(0)

摘要：本文是 horovod on k8s 的最后一篇，看看 MPI-Operator 可能被如何改进。阅读全文

posted @ 2021-07-28 19:43 罗西的思考阅读(968) 评论(0) 推荐(0)

摘要： Horovod 是一款基于 AllReduce 的分布式训练框架。本文是 Horovod on k8s 第二篇，介绍MPI-Operator。阅读全文

posted @ 2021-07-26 14:21 罗西的思考阅读(2534) 评论(0) 推荐(0)