摘要：分布式机器学习中的数据并行(Data Parallelism)和模型并行(model parallelism) 前言: 现在的模型越来越复杂，参数越来越多，其训练集也在剧增。在一个很大的数据集集中训练一个比较复杂的模型往往需要多个GPU。现在比较常见的并行策略有:数据并行和模型并行，本文主要讨论这两 阅读全文