2022年9月29日
分布式机器学习中的数据并行(Data Parallelism)和模型并行(model parallelism)
摘要： 分布式机器学习中的数据并行(Data Parallelism)和模型并行(model parallelism) 前言: 现在的模型越来越复杂，参数越来越多，其训练集也在剧增。在一个很大的数据集集中训练一个比较复杂的模型往往需要多个GPU。现在比较常见的并行策略有:数据并行和模型并行，本文主要讨论这两 阅读全文
posted @ 2022-09-29 17:02 EchoZQN 阅读(2014) 评论(0) 推荐(0)