2019年9月17日
Pytorch并行计算：nn.parallel.replicate, scatter, gather, parallel_apply
摘要： 最后输出为 可以看到整个流程如下： replicas : 将模型复制若干份，这里只有两个GPU，所以复制两份 scatter : 将输入数据若干等分，这里划分成了两份，会返回一个tuple。因为batch size=16，所以刚好可以划分成8和8，那如果是15怎么办呢？没关系，它会自动划分成8和7， 阅读全文
posted @ 2019-09-17 15:31 marsggbo 阅读(4807) 评论(0) 推荐(0)