MoE深拆:路由、负载均衡与专家并行

参数量和每 Token 计算量,这两个在 Dense 模型里永远绑定的量,在混合专家(MoE)里被拆开了:DeepSeek-V3 有 671B 参数,但每个 Token 只激活其中 37B。这组数字描述的交换是:用 18 倍的显存,买走同等激活量的 Dense 模型质量。2024 年之后前沿模型的公开配方几乎全部完成了向 MoE 的迁移,这不是时尚,而是算力经济学的一次定向选择——算力按 FLOPs 计价且持续紧缺,显存按卡计价且相对便宜。把这笔交换拆到机制层,需要回答四个问题:稀疏层怎么搭、路由怎么训、算力账怎么算、显存账怎么还。

一、稀疏层的解剖

MoE 改造的是 Transformer 的 FFN 块(注意力层保留 Dense)。一个 MoE 层 = 路由器 + $E$ 个并列的 FFN 专家 + (可选的)共享专家:

import torch
import torch.nn.functional as F

class MoELayer(torch.nn.Module):
    def __init__(self, d_model, d_ff, n_experts=256, top_k=8):
        super().__init__()
        self.router = torch.nn.Linear(d_model, n_experts, bias=False)
        self.experts = torch.nn.ModuleList([
            torch.nn.Sequential(
                torch.nn.Linear(d_model, d_ff), torch.nn.SiLU(),
                torch.nn.Linear(d_ff, d_model))
            for _ in range(n_experts)])
        self.top_k = top_k

    def forward(self, x):                    # x: (T, d_model)
        logits = self.router(x)              # (T, E)
        probs = F.softmax(logits, dim=-1)
        topk_p, topk_i = torch.topk(probs, self.top_k, dim=-1)
        topk_p = topk_p / topk_p.sum(-1, keepdim=True)   # 门控重归一
        out = torch.zeros_like(x)
        for t in range(x.size(0)):           # 概念性写法; 实际是 grouped GEMM
            for p, e in zip(topk_p[t], topk_i[t]):
                out[t] += p * self.experts[e](x[t])
        return out

现代配方的两个关键修饰都在这段代码之外:

  • 细粒度专家:把专家切小、多选几个(V3 是 256 个小专家选 8 个,而不是 8 个大专家选 2 个)。同样的激活参数量下,专家组合数从 $C_8^8$ 级的组合自由度暴增,多个消融显示这是质量的重要来源
  • 共享专家:一个常驻的 FFN 永远激活,承接通用知识;路由专家得以专注差异化模式。V3、Qwen3、Kimi 配方均有此设计

三代公开模型的结构参数放在一起看趋势:

模型 总参数 激活参数 专家/选择 年份
Mixtral 8×7B 46.7B 12.9B 8 选 2 2023
DeepSeek-V3 671B 37B 256 选 8 + 共享 2024
Kimi K2 1T 32B 384 选 8 + 共享 2025

方向清晰:专家越切越细、总数越来越多、激活占比越来越低(V3 约 5.5%,K2 约 3%)。

二、路由怎么训:可微性缺口与两代补法

路由的麻烦在第一步就出现:top-k 选完再乘权重,选择这个动作不可导。梯度能流过被选专家的权重 $p_i$,却无法告诉路由器"你该选谁"。放任不管的结局是路由崩塌(router collapse)——早期训练里少数专家垄断全部 Token,其余专家饿死退化,稀疏性名存实亡。

第一代补法是 Switch Transformer / GShard 确立的辅助负载均衡损失:

def switch_aux_loss(probs, mask):
    """probs: (T, E) softmax 路由概率; mask: (T, E) top-k 硬选择"""
    f = mask.sum(0) / mask.sum()        # f_i: 每 expert 实际分到的 token 占比
    P = probs.mean(0)                   # P_i: 路由器分给它的平均概率
    return f.size(0) * (f * P).sum()    # E · Σ f_i P_i

设计的精巧处在于软硬结合:$f_i$ 是不可导的实际流量,$P_i$ 是可导的倾向,乘积惩罚"嘴上说不要、身体很诚实"的错配,把流量推向均匀。代价同样明确——它是与优化目标对抗的力,系数调大均衡了但伤最终质量,调小了又看不住路由器。

DeepSeek-V3 给出第二代方案(aux-loss-free):均衡问题从损失函数挪到推理级的打分偏置上。每个专家维护一个动态偏置 $b_i$,每步根据实际负载增减:

# 负载偏高 → 降偏置让它少接活; 偏低 → 升偏置多揽活
b[i] += gamma if load[i] < target else -gamma
score = logits + b          # b 只参与 top-k 选择
gate = softmax(logits)      # 不进门控数值 → 梯度路径零污染

偏置只决定"选谁",不决定"给多少权重",于是主损失与均衡机制彻底解耦——均衡变成了控制器(控制论意义上的),而不是罚项。配套还有一个按批量规模归一的辅助均衡项兜底小 batch 场景。这种"把不可微的约束从损失里拿出来、放进推理期的控制回路"的思路,是 MoE 训练配方近两年最值得学的工程转变。

另两个稳定性细节顺带记录:路由器 logits 加 z-loss(约束 $\log\sum e^{z}$ 的量级,防路由打分漂移引发后期 spike,ST-MoE 配方);以及容量因子与 Token 丢弃——每个专家设容量上限,溢出的 Token 直接走残差连接跳过该层。丢 Token 听着粗暴,但在大规模训练里是可接受的保护阀。

三、算力与显存账本

MoE 的账本要分开两页记。

算力页:每 Token 的 FFN FLOPs 正比于激活专家数而非总数。V3 的每 Token 计算量约等于一个 37B Dense 模型,但知识容量是 671B 级的。这直接改写了 Scaling Law 的用法:给定算力预算,MoE 能在"同损失"的赛道上买到更多参数——细粒度 MoE 的 Scaling Law 研究确认了固定算力下增加专家数持续降损失,收益在专家数过千后趋缓。

显存页是代价所在,且要分场景细算。权重必须全部驻留(1.34TB,bf16 的 V3),但每个 Token 只读其中 9/257 的专家。把它接回推理篇的第一性原理(解码瓶颈是权重读入带宽),MoE 解码的每 Token 字节数有一个漂亮的分段公式:

def moe_routed_bytes(B, E=256, k=8, layers=61, d_ff=2048, d=7168, w=2):
    p_expert = 3 * d * d_ff * w           # 单专家 bf16 字节数 (gate/up/down)
    per_layer = min(k, E / B) * p_expert  # 均摊: 每 token 读到的专家字节
    return per_layer * layers

for B in [1, 32, 256]:
    print(f"batch={B:3d}: {moe_routed_bytes(B)/1e9:.1f} GB/token")
# B=1:   43 GB —— 独占读取, ≈ 激活量同级的 dense 模型
# B=32:   43 GB —— 刚好每专家 1 个 token, 摊薄尚未开始
# B=256:  5.4 GB —— 每专家 8 token, 读入摊薄 8 倍

(口径仅路由专家部分,注意力与共享专家另计。)结论分两段:小 batch 下 MoE 的带宽表现像它的激活量大小的 Dense 模型——不亏不赚;大 batch 下专家读入被摊薄,带宽效率反超 Dense。MoE 推理的痛点从来不是带宽,是那 1.34TB 的驻留成本:单机 8×H100 只有 640GB,服务一个 V3 起步就要跨机,于是又回到并行拓扑。

MoE 专用的答案是专家并行(EP):Dense 模型张量并行的标志是每层两次 all-reduce;EP 把它换成两次 all-to-all——Token 按路由表发往专家所在的卡(dispatch),算完再收回(combine)。通信量正比于 Token 流量而非参数量,与稀疏激活天然匹配。DeepSeek-V3 的部署形态进一步把专家约束在节点内、节点间只传 Token,配合 DualPipe 把通信与计算重叠——最终训练在 2048 卡上跑出了约束下的高 MFU,这套 EP 拓扑同时服务于它的推理部署。

四、训练生态与专家的涌现性质

三个高频问题值得各给一段。

专家会专业化吗? 会,但不是想象中的分工。Shazeer 2017 年就观察到专家按浅层语义聚类;Mixtral 的分析发现专家按 Token 级语法特征和领域(代码 vs 自然语言)分化,而非按"任务"分工——没有一个"数学专家"专职解题,而是代码 Token 系统性流向特定专家。专业化是统计涌现,不是功能设计。

Dense 能升级成 MoE 吗? 能,路径叫 upcycling:把训好的 Dense FFN 复制 $E$ 份初始化专家,加噪声打破对称,继续训练。成本远低于从零,是中小团队入场 MoE 的标准后门;代价是专家分化不如从零训练充分,上限略有折扣。

均衡与质量的张力怎么收? V3 的消融给出了目前最有说服力的数据:辅助损失版本在严格均衡上更好,但 aux-loss-free 版本最终损失更低——罚项的消失直接兑换成了质量。这与第二节的机制分析闭环:均衡是约束,不是目标,约束的执行成本越低越好。

五、边界:谁不该用 MoE

MoE 不是普适升级,适用条件相当苛刻:

  • 显存经济学:激活 3~6% 意味着 95% 的参数在单请求视角下是死重。云侧多租户高并发能把死重摊成吞吐(第三节的大 batch 分段),端侧和低并发场景纯付显存成本不收利息——手机、本地部署、隐私内网场景,Dense 仍是正确答案
  • 量化敏感度不均:路由专家被访频率差异巨大,低频专家校准数据少,整模型统一低比特量化的误差分布比 Dense 更难控制;MoE 量化(如对专家做更低比特、路由器保持高精度)仍在前沿探索期
  • 训练门槛:负载均衡、专家并行、Token 丢弃、EP 通信调优,每一项都是 Dense 训练里不存在的新故障面。Mixtral 之后的开源 MoE 复现潮里,大量"参数堆上去但质量没跟上"的失败都埋在这些工程缝里

反过来,Dense 的存在理由也由此显影:推理路径短、量化友好、小规模效率高——它输掉的只是"同算力下质量/容量"这一个维度,而这个维度恰好在 frontier 训练里最贵。

六、收束

维度 Dense MoE
每 Token 计算 ∝ 总参数 ∝ 激活参数(3~6%)
驻留显存 ∝ 总参数(小) ∝ 总参数(大 18×)
小 batch 解码带宽 每参数 2 字节 ≈ 激活量的 Dense
大 batch 带宽 无摊薄空间 专家读入摊薄 $B$ 倍
并行通信 all-reduce all-to-all × 2
训练复杂度 成熟 均衡/丢弃/EP 三重故障面
主场 端侧、低并发 云侧、frontier 训练

整条技术线可以压缩成一个交换结构:MoE 用显存与工程复杂度购买算力效率。这个交换在算力受限、显存按卡计价、并发足够大的云侧市场是净赚的,于是 frontier 集体迁移;在显存本身受限、并发稀疏的端侧市场是净亏的,于是 Dense 退守。稀疏化不是模型的属性升级,而是一次针对部署经济学的重新定价——判断某个新场景该不该用 MoE,先看它的 batch 中位数和显存单价,答案就在这两个数里。

posted @ 2026-11-05 10:12  汤姆百宝箱  阅读(20)  评论(0)    收藏  举报