在深度学习和大规模模型训练中，混合并行（Hybrid Parallelism） 是一种结合多种并行计算技术的策略，旨在高效利用多设备（如 GPU、TPU）资源，解决超大模型（如千亿 / 万亿参数 LLM）的训练和推理难题。其核心思想是通过 “拆分数据、拆分模型、拆分计算” 的组合方式，突破单设备内存、算力的限制，同时提升整体效率。
混合并行的 “混合” 体现在对以下几种基础并行方式的灵活组合：
- 核心逻辑：将训练数据拆分到多个设备（如 GPU），每个设备存储完整的模型副本，独立计算局部梯度，再通过通信同步梯度并更新模型参数。
- 优势：实现简单，适用于数据量大但模型较小的场景（如 ResNet 等视觉模型）。
- 局限：当模型参数过大（如千亿级），单设备无法容纳完整模型时，数据并行失效。
- 核心逻辑：将模型的层或参数拆分到不同设备，每个设备仅存储模型的一部分（如部分网络层），协同完成前向和反向计算。
常见细分类型：
- 张量并行（Tensor Parallelism）：将单个张量（如权重矩阵）按维度拆分（如行拆分、列拆分），不同设备计算张量的部分子块，通过通信拼接结果。适用于大维度张量（如 Transformer 的注意力矩阵）。
- 流水线并行（Pipeline Parallelism）：将模型按层拆分（如 Transformer 的前半部分在设备 1，后半部分在设备 2），不同设备按 “流水线” 顺序执行，前一设备的输出作为后一设备的输入。适用于模型层数极多的场景。
实际训练中，单一并行技术难以应对超大模型（如万亿参数模型），因此需结合多种方式，常见组合包括：
- 适用场景：模型参数较大（单设备放不下），且数据量也较大。
- 逻辑：
- 先按模型并行拆分模型（如将 Transformer 的注意力层和 FeedForward 层拆分到不同设备），形成 “模型分片组”。
- 再对每个 “模型分片组” 应用数据并行，即不同组处理不同数据分片，组内设备协同完成模型计算。
- 优势：同时利用数据并行的高吞吐量和模型并行的内存节省能力。
- 适用场景：超大规模模型（如千亿 / 万亿参数 LLM，如 GPT-3、PaLM）。
- 逻辑：
- 张量并行：拆分单一层内的大张量（如注意力权重矩阵拆分为 8 份，由 8 个 GPU 协同计算）。
- 流水线并行：将模型的不同层分配到不同 “张量并行组”（如前 10 层由组 A 处理，后 10 层由组 B 处理），形成流水线执行。
- 数据并行：对整个 “流水线 + 张量并行” 结构复制多份，每份处理不同数据分片。
- 实例：Megatron-LM（英伟达）、DeepSpeed 等框架采用这种组合，支持万亿参数模型训练。
- 突破硬件限制：通过拆分模型和数据，使单设备内存无法容纳的超大模型得以训练（如 1 万亿参数模型需数百甚至数千 GPU 协同）。
- 提升计算效率：结合数据并行的高吞吐量和模型并行的内存优化，减少闲置资源，提高整体算力利用率。
- 灵活性适配：可根据模型结构（如层数、张量维度）和硬件配置（如 GPU 数量、内存大小）动态调整组合方式，平衡通信开销和计算效率。
- 通信开销：混合并行中设备间通信（如梯度同步、张量拼接）频繁，可能成为瓶颈。解决方案：使用高速互联（如 NVLink、InfiniBand），优化通信算法（如重叠计算与通信）。
- 负载均衡：不同设备的计算 / 通信负载可能不均（如流水线并行中的 “气泡” 问题）。解决方案：动态调整拆分策略（如不均等层拆分）、引入 “虚拟管道阶段” 减少闲置。
- 编程复杂度：手动设计混合并行逻辑难度大。解决方案：依赖自动化框架（如 Megatron-LM、Colossal-AI、DeepSpeed），通过配置文件简化并行策略定义。
混合并行是大模型训练的核心技术，通过灵活组合数据并行、模型并行（张量 / 流水线）等方式，实现了 “内存节省” 与 “高效计算” 的平衡。随着模型规模持续增长（从千亿到万亿参数），混合并行的策略设计和框架优化将成为提升训练效率的关键。
浙公网安备 33010602011771号