2024年1月28日
大模型理论基础07
摘要： [第8章 分布式训练] 在分布式训练中，常见的并行策略包括数据并行和模型并行。 数据并行：数据并行是指将训练数据分成多个批次，每个批次分配给不同的设备进行处理，。每个设备都有一份完整的模型副本，并且在本地计算梯度。然后，通过一定的机制（例如全局同步）将各设备上的梯度汇总，更新模型参数。数据并行适用于 阅读全文
posted @ 2024-01-28 00:58 wuhaoliu 阅读(13) 评论(0) 推荐(0)