摘要: 前几篇文章我们介绍了 PyTorch 流水线并行的基本知识,自动平衡机制和切分数据等,本文我们结合论文内容来看看如何实现流水线依赖,核心就是如何建立这些小批次之间的跨设备依赖关系。 阅读全文
posted @ 2021-10-07 10:54 罗西的思考 阅读(2345) 评论(4) 推荐(3) 编辑