2021年10月12日
AI多种并行算法
摘要： AI多种并行算法 并行模型 模型并行（ model parallelism ）:分布式系统中的不同机器（GPU/CPU等）负责网络模型的不同部分 —— 例如，神经网络模型的不同网络层被分配到不同的机器，或者同一层内部的不同参数被分配到不同机器；[14] 数据并行（ data parallelism  阅读全文
posted @ 2021-10-12 06:20 吴建明wujianming 阅读(529) 评论(0) 推荐(0) 编辑