分布式训练3

主流分布式训练框架

框架名称	开发机构	核心特性	适用场景	代表模型/案例
DeepSpeed	微软	ZeRO-1/2/3 内存优化、3D并行、混合精度、推理压缩一体化	超大规模稠密/稀疏模型训练	GPT-3、BLOOM、MT-NLG 530B
Megatron-LM	NVIDIA	张量并行、流水线并行、数据并行组合，专为Transformer优化	千亿级以上语言模型	GPT-3、PaLM、Llama 2
Horovod	Uber	Ring-AllReduce通信、易于集成TF/PyTorch/Keras，适合中小规模分布式训练	多机多卡数据并行	ResNet、BERT-base
FairScale	Meta	FSDP（Fully Sharded Data Parallel）、模型并行、动态负载均衡	大模型训练与微调	OPT、LLaMA
Alpa	UC Berkeley	自动并行策略搜索、数据/算子/流水线并行自动组合	自动分布式训练、科研场景	GPT-J、BLOOM
PaddlePaddle	百度	参数服务器 + 集合通信双模式、动静统一、支持国产芯片	中文大模型、推荐系统、NLP	ERNIE 4.0、文心一言
FSDP	PyTorch官方	ZeRO-3 实现，参数/梯度/优化器状态分片，兼容PyTorch生态	大模型训练、微调、LoRA适配	Llama 2、Mistral