2021年8月
[源码解析] 深度学习流水线并行Gpipe(1)---流水线基本实现
摘要： GPipe 是一个基于 Lingvo （Lingvo 是 Google 基于 TensorFlow 二次开发的重点针对序列模型的框架）开发的，支持超大规模模型的神经网络训练并行库，本文介绍其基本功能和流水线机制。 阅读全文
posted @ 2021-08-23 08:24 罗西的思考 阅读(9189) 评论(4) 推荐(4)