摘要:
一般有2种并行模式:数据并行(Data parallelism)和模型并行(model parallelism). 在模型并行化( model parallelism )方法里,分布式系统中的不同机器负责单个网络模型的不同部分 —— 例如,神经网络模型的不同网络层被分配到不同的机器。 在数据并行化( 阅读全文
posted @ 2018-04-09 16:14
allcloud
阅读(513)
评论(0)
推荐(0)

浙公网安备 33010602011771号