分布式训练的一些知识

2025.10.11

1.在分布式训练大型模型时，数据并行策略的核心定义是：在多个设备上复制完整模型，每个设备处理独立的数据批次，并通过同步梯度来更新模型参数。