摘要：
GPipe 是一个基于 Lingvo （Lingvo 是 Google 基于 TensorFlow 二次开发的重点针对序列模型的框架）开发的，支持超大规模模型的神经网络训练并行库，本文介绍其基本功能和流水线机制。 阅读全文
posted @ 2021-08-23 08:24
罗西的思考
阅读(8887)
评论(4)
推荐(4)
摘要：
Paracel是豆瓣开发的一个分布式计算框架，它基于参数服务器范式，用于解决机器学习的问题。前文介绍了PyTorch 的数据处理部分，本文接着介绍Paracel的数据处理部分，正好可以与PyTorch做一下印证。 阅读全文
posted @ 2021-08-21 09:11
罗西的思考
阅读(515)
评论(0)
推荐(0)
摘要：
为了更好的介绍参数服务器Paracel的数据加载，我们临时插入两篇PyTorch的数据加载，主要是从分布式的角度进行切入。本文介绍 DataLoader。 阅读全文
posted @ 2021-08-18 08:12
罗西的思考
阅读(4635)
评论(2)
推荐(1)
摘要：
为了更好的介绍参数服务器Paracel的数据加载，我们临时插入两篇PyTorch的数据加载（因为字数太长，所以拆成两篇），主要是从分布式的角度进行切入。本文介绍 DistributedSampler。 阅读全文
posted @ 2021-08-15 10:32
罗西的思考
阅读(10313)
评论(0)
推荐(1)
摘要：
Paracel是豆瓣开发的一个分布式计算框架，它基于参数服务器范式来解决机器学习的问题。本文主要分析其SSP的实现。 阅读全文
posted @ 2021-08-13 20:16
罗西的思考
阅读(733)
评论(0)
推荐(0)
摘要：
Paracel是豆瓣开发的一个分布式计算框架，它基于参数服务器范式来解决机器学习的问题，本文介绍其主体结构。 阅读全文
posted @ 2021-08-10 19:26
罗西的思考
阅读(652)
评论(0)
推荐(0)
摘要：
本文是参数服务器的第四篇，介绍KVWorker, KVServer。 阅读全文
posted @ 2021-08-07 10:31
罗西的思考
阅读(700)
评论(0)
推荐(0)
摘要：
本文是参数服务器第三篇，介绍ps-lite的Customer模块。 阅读全文
posted @ 2021-08-04 20:26
罗西的思考
阅读(940)
评论(0)
推荐(0)
摘要：
本文是参数服务器系列第二篇，介绍ps-lite的通信模块 Van。 阅读全文
posted @ 2021-08-02 20:11
罗西的思考
阅读(1105)
评论(0)
推荐(0)
浙公网安备 33010602011771号