我的随笔

[源码解析] PyTorch 流水线并行实现 (3)--切分数据和运行时系统

罗西的思考 2021-09-26 20:38 阅读:1631 评论:2 推荐:0

[源码解析] PyTorch 流水线并行实现 (2)--如何划分模型

罗西的思考 2021-09-24 16:24 阅读:2070 评论:0 推荐:0

[源码解析] PyTorch 流水线并行实现 (1)--基础知识

罗西的思考 2021-09-22 08:45 阅读:4431 评论:0 推荐:0

[源码解析] 深度学习分布式训练框架 horovod (21) --- 之如何恢复训练

罗西的思考 2021-09-18 15:47 阅读:764 评论:0 推荐:0

[源码解析] 深度学习流水线并行 PipeDream(6)--- 1F1B策略

罗西的思考 2021-09-15 16:46 阅读:8555 评论:0 推荐:5

[源码解析] 深度学习流水线并行 PipeDream(5)--- 通信模块

罗西的思考 2021-09-13 10:13 阅读:1445 评论:0 推荐:0

[源码解析] 深度学习流水线并行 PipeDream(4)--- 运行时引擎

罗西的思考 2021-09-11 09:39 阅读:1120 评论:0 推荐:0

[源码解析] 深度学习流水线并行 PipeDream(3)--- 转换模型

罗西的思考 2021-09-07 20:27 阅读:1327 评论:0 推荐:0

[源码解析] 深度学习流水线并行 PipeDream(2)--- 计算分区

罗西的思考 2021-09-03 17:06 阅读:1846 评论:4 推荐:1

[源码解析] 深度学习流水线并行之PipeDream(1)--- Profile阶段

罗西的思考 2021-09-01 19:24 阅读:5366 评论:3 推荐:1