2021年10月
[源码解析] PyTorch 流水线并行实现 (5)--计算依赖
摘要： 前几篇文章我们介绍了 PyTorch 流水线并行的基本知识，自动平衡机制和切分数据等，本文我们结合论文内容来看看如何实现流水线依赖，核心就是如何建立这些小批次之间的跨设备依赖关系。 阅读全文
posted @ 2021-10-07 10:54 罗西的思考 阅读(2350) 评论(4) 推荐(3) 编辑