摘要： ​ 前言 目前比较常见的并行训练是数据并行，这是基于模型能够在一个GPU上存储的前提，而当这个前提无法满足时，则需要将模型放在多个GPU上。现有的一些模型并行方案仍存在许多问题，本文提出了一种名为PatrickStar的异构训练系统。PatrickStar通过以细粒度方式管理模型数据来更有效地使用异 阅读全文