【大模型Wiki】15 · MoE 与架构演进
MoE 与架构演进：从纯 Transformer 到混合架构
大模型 Wiki · 补充篇 13 ｜ 2026-09 整理
本章聚焦 2025–2026 年旗舰大模型在架构层面的两大主线：一是用 MoE（混合专家） 把"参数规模"和"单次推理成本"解耦，二是用 线性注意力/状态空间模型 等替代方案缓解 Transformer 的 O(n²) 瓶颈。两者共同把模型推向"万亿参数、单卡可跑、百万上下文"的新阶段。
一、MoE：旗舰标配
1.1 原理
把 FFN 层替换为 N 个"专家"子网络，路由器为每个 token 只选 Top-K 个专家计算。
- 总参数决定知识容量，激活参数决定推理成本——两者解耦。这是 MoE 的核心价值：你可以堆到 1.6T 总参数来"装知识"，但每次前向只激活其中 ~5%（如 DeepSeek-V4 激活 49B），推理算力按激活参数算，于是"大模型的知识、小模型的算力"。
- GPT-6 基础版（代号"土豆"，2026-04）：约 5–6 万亿参数 MoE，Symphony 架构，每次推理仅激活约 10%。
1.1.1 稀疏门控的数学原理（router softmax / top-k / 辅助损失）
一个 MoE 层由 \(N\) 个专家 \(\{E_1, \dots, E_N\}\)（每个专家通常就是一个 FFN）和一个门控网络（router）\(W_g\) 组成。对输入 token 的隐藏向量 \(x\)：
- 门控打分：router 是一个线性层，输出每个专家的 logit：\[g(x) = W_g\, x \in \mathbb{R}^{N} \]
- softmax 归一化：得到路由概率分布\[p_i = \frac{\exp(g_i(x))}{\sum_{j=1}^{N} \exp(g_j(x))} \]
- Top-K 选择：只取概率最高的 \(K\) 个专家（通常 \(K=1\) 或 \(K=2\)），其余不计算。
- 加权求和：该 token 的输出为被选专家输出的加权和：\[y = \sum_{i \in \mathrm{TopK}(p)} p_i \cdot E_i(x) \]
代码示意（单 token 路由）：
import torch, torch.nn.functional as F
def moe_forward(x, experts, router, k=2):
# x: [d_model] 单个 token 的隐藏向量
logits = router(x) # [N]
probs = F.softmax(logits, dim=-1) # [N] 路由概率
topk = probs.topk(k) # 取前 k 个专家
out = 0.0
for w, idx in zip(topk.values, topk.indices):
out = out + w * experts[idx](x) # 只算被选中的专家
return out
1.1.2 负载均衡辅助损失（load-balancing auxiliary loss）
朴素 top-k 路由有个致命问题：路由容易"塌缩"——少数专家被反复选中、其余专家饿死，既浪费参数又造成部分专家过拟合。为此引入辅助损失来鼓励 token 在专家间均匀分配。
设一个 batch 里有 \(T\) 个 token，定义：
- \(f_i\)：被路由到专家 \(i\) 的 token 比例（实际 dispatch 频率），\(f_i = \frac{1}{T}\sum_{t} \mathbb{1}[i \in \mathrm{TopK}(x_t)]\)
- \(P_i\)：专家 \(i\) 的平均路由概率，\(P_i = \frac{1}{T}\sum_{t} p_i(x_t)\)
负载均衡损失为：
- 当所有专家被均匀选中时（\(f_i \approx 1/N\)，\(P_i \approx 1/N\)），\(\sum f_i P_i \approx 1/N\)，损失最小。
- 当某些专家被垄断时，\(f_i\) 与 \(P_i\) 在某几项上同时偏大，乘积和上升，损失变大。
- 系数 \(\alpha\)（平衡系数，常取很小如 0.01）控制辅助损失相对主任务的权重，过大会干扰主任务学习。
注意：这是辅助损失（只影响 router 的参数更新方向），不回传到专家权重本身对"任务"的直接贡献，专门用来规训 router 别偷懒。
1.1.3 容量因子与 token 丢弃
即使有辅助损失，batch 内仍可能瞬时出现"某专家爆满"。引入容量因子（capacity factor） \(C\)：每个专家最多处理 \(C \cdot (T/N)\) 个 token。超出容量的 token 走两条路：要么被丢弃（token dropping）（Switch Transformer 的做法，配以"重要度权重"尽量保重要 token），要么通过残差直连绕过该 MoE 层。容量因子越大越不丢 token 但越费算力，是部署时的调优旋钮。
1.2 代表模型对照（2025–2026）
| 模型 | 总/激活参数 | 特色 |
|---|---|---|
| DeepSeek-V3 | 671B / 37B | 极低训练成本（~2.8M GPU 时），无辅助损失路由 |
| DeepSeek-V4 | 49B 激活 / 1.6T | CSA/HCA 注意力，1M 上下文，Muon 优化器 |
| Kimi K2 / K3 | 1T→2.8T / 32B | KDA 线性注意力（K3），MuonClip |
| Qwen3-235B | 235B / 22B | 开源 MoE 万亿俱乐部 |
| GLM-5 / 5.2 | 744B / 40B | DSA 稀疏注意力，1M 上下文 |
| MiniMax-M2 | 230B / 10B | 极致性价比（API 价格 ≈ Claude 的 8%） |
| LLaDA-MoE | 7B / 1.4B | 原生 MoE 扩散语言模型 |
1.3 工程要点
- 路由稳定性是核心难题：辅助损失 → 无辅助损失路由（DeepSeek）→ 专家激活均衡，三代演进。
- 共享专家 + 细粒度专家：DeepSeek 式设计已成行业共识。
- MLA（多头潜在注意力）：DeepSeek 提出，压缩 KV Cache，配合 MoE 是"容量大、成本低"的黄金组合。
1.4 重点模型拆解
1.4.1 Switch Transformer（Google, 2021）—— Top-1 路由的开山之作
Switch Transformer 把 top-k 简化到 K=1（每个 token 只送一个专家，"路由开关"），把 MoE 首次推到万亿参数规模。关键设计：
- 简化路由为 top-1，降低通信与计算复杂度，同时证明"更稀疏也能有效"。
- 容量因子 + 重要度加权 token dropping：当专家超载时丢弃低重要度 token，保证计算可控。
- 辅
助损失用前述 \(\mathcal{L}_{\text{aux}}\) 做负载均衡，并强调"大 batch + 大学习率"才能稳定训练 MoE。 - 结论：在相同 FLOPs 预算下，MoE 比稠密模型收敛更快、最终精度更高——奠定了"同算力、更大参数"的范式。
1.4.2 Mixtral 8×7B（Mistral, 2023）—— 开源 MoE 的普及者
- 结构：每层 8 个专家，每个 token 选 Top-2，所有层共享同一套 8 专家。
- 参数账本：总参数 46.7B（8×7B 的 FFN 总和 + 共享注意力），但每个 token 只激活 2 个专家 ≈ 12.9B 活跃参数。
- 效果：以 ~13B 的激活算力，在多数基准上超得过 70B 稠密模型，成为"小显存跑强模型"的标杆。
- 注意"8×7B"命名易误解：它不是把 8 个 7B 模型拼起来，而是把每层 FFN 换成 8 个各约 7B 级别的 FFN 子网络，注意力是共享的一份；所以总参 = 注意力 + 8 份 FFN，而非 8 份完整模型。
1.4.3 DeepSeek-V3 —— 共享专家 + 细粒度 + 无辅助损失
DeepSeek-V3（671B/37B 激活）把 MoE 工程推到新高度，三项标志性设计：
- 细粒度专家（fine-grained experts）：把每个专家切得更小、数量更多（每层 256 个路由专家），每个 token 选更多个（Top-8）。专家越细，token 可组合的知识"搭配"越丰富，容量利用率越高，且单专家过拟合风险更低。
- 共享专家（shared expert）：设 1 个"所有 token 都经过"的共享专家，承载通用、跨任务的公共知识；其余路由专家专注差异化专长。这样路由专家不必再浪费容量去重复学习公共知识，
激活参数 = 共享专家 + Top-K 路由专家。 - 无辅助损失均衡（auxiliary-loss-free load balancing）：传统辅助损失会与主任务目标拉扯、且难以完美均衡。DeepSeek-V3 改为给每个专家的门控 logit 加一个可学习的偏置 \(b_i\)，路由按
argmax(g_i + b_i)选专家；训练中用动量动态更新 \(b_i\)——哪个专家过载就把它的偏置调小、欠载就调大，从而实现均衡而不引入任何干扰主任务的辅助损失。这是 2025–2026 年公认的"最优均衡"方案，DeepSeek-V4、GLM 等纷纷跟进。
示意：
def deepseek_router(logits, bias, k=8):
# logits: [N] 门控打分；bias: [N] 每专家可学习偏置
scores = logits + bias # 无辅助损失：靠 bias 动态均衡
idx = scores.topk(k).indices # 选 top-k（细粒度：k 较大）
return idx
# 训练中：每步统计各专家实际负载，用动量更新 bias
# bias[i] -= lr_bias * (load[i] - mean_load) # 过载则降偏置
细粒度专家切分示意（把 1 个 7B 级 FFN 拆成 m 个小专家）：
class FineGrainedMOE(torch.nn.Module):
def __init__(self, d_ff, m=8, k=2):
super().__init__()
# 与其用 1 个 d_ff 的大 FFN，不如用 m 个 d_ff/m 的小 FFN
self.experts = torch.nn.ModuleList(
[torch.nn.Linear(d_ff // m, d_ff // m) for _ in range(m)]
)
self.router = torch.nn.Linear(d_ff, m)
self.k = k
def forward(self, x):
# x: [T, d_ff]；每个位置独立选 top-k 个小专家
scores = self.router(x)
idx = scores.topk(self.k).indices # [T, k]
out = torch.zeros_like(x)
for j in range(self.k):
e = idx[:, j] # 第 j 个被选专家索引
# 按专家索引分组计算（真实实现用分组 GEMM 加速）
for ei in range(len(self.experts)):
mask = (e == ei)
if mask.any():
out[mask] += self.experts[ei](x[mask])
return out
注意：上例为可读性省略了加权（应乘路由概率）与分组 GEMM 优化；生产中用 torch.arange 分组 + 批量矩阵乘避免 Python 循环。核心思想是——专家越细、每 token 选得越多，组合空间越大，容量利用率越高，这正是 DeepSeek 系"256 专家选 8"相比 Mixtral"8 专家选 2"的本质差异。
- 设备级路由（device-limited routing）：配合专家并行，把专家按设备分组，限制跨节点通信，控制 All-to-All 开销（见 1.5）。
1.4.4 DeepSeek-V4 / Kimi K3 / Qwen3.5 等的新动向
- DeepSeek-V4：49B 激活 / 1.6T 总参，引入 CSA/HCA（compressed / hyper attention）混合注意力 + 1M 上下文 + Muon 优化器，继续沿用无辅助损失均衡与 MLA。
- Kimi K3：KDA（线性注意力变体）替代部分全注意力，把序列复杂度从 O(n²) 降到接近 O(n)，配合 MoE 做超长上下文。
- Qwen3.5 / GLM-5.2：Gated DeltaNet / DSA 等线性/稀疏注意力与 MoE 混合，长上下文与吞吐兼顾。
1.5 显存与计算量分析
MoE 最容易被误解的是"显存"和"算力"不是一回事：
- 显存由总参数决定：所有专家权重都要常驻显存（或分片到各卡），即使是休眠专家。671B 模型即便每次只激活 37B，权重本体仍需 ~1.3TB（FP16）——这正是 MoE 必须配合专家并行 + 量化 + 多卡的原因。消费级单卡跑不了 671B，是因为装不下总参，不是算力不够。
- 算力（FLOPs）由激活参数决定：每个 token 只过选中的 K 个专家，前向算力 ≈ 激活参数量 × 2（MAC 计 2FLOP）× token 数。所以 671B/37B 的"推理成本"实际约等于一个 37B 稠密模型。
- 通信成为新瓶颈：专家分到不同设备时，每个 token 要被发到对应专家所在卡（All-to-All 集合通信）。token 路由越分散、跨节点越多，通信占比越高。DeepSeek 的"设备级路由"就是把同一组 token 尽量留在同一设备，削减跨节点流量。
量级对照（FP16、每 token 前向）：
| 模型 | 总参数显存 | 每 token 激活算力 |
|---|---|---|
| 稠密 70B | ~140 GB | ≈ 70B×2 FLOP |
| MoE 671B/37B | ~1.3 TB（需多卡） | ≈ 37B×2 FLOP（≈稠密 37B 的算力） |
| MoE 235B/22B | ~470 GB | ≈ 22B×2 FLOP |
一句话：MoE 用"显存换算力"——花更多显存装下总参，换来每次推理只付激活参数的算力。
1.6 推理部署要点
- 专家并行（Expert Parallelism）：把不同专家分布到不同 GPU，router 决定 token 去哪张卡。需 All-to-All 通信，框架层面 vLLM / SGLang / Megatron 已支持。
- 容量因子与 token dropping：在线服务调大容量因子减少丢弃，但会增加峰值显存与延迟；边缘部署可适度调低。
- KV Cache 与 MLA：MoE 把 FFN 变大后，注意力 KV Cache 成为显存大头，DeepSeek 的 MLA（多头潜在注意力）把 KV 压缩成低维潜向量，是 MoE 旗舰能上长上下文的关键配套。
- 批处理与负载不均：不同请求路由到的专家分布不同，连续批处理（continuous batching）下要监控专家热度，避免"热点专家"成为延迟瓶颈。
- 量化协同：MoE 总参大而激活小，对权重量化（4-bit）特别友好——休眠专家以 4-bit 常驻，激活专家反量化计算，显存直接砍 4×。DeepSeek 系多提供预量化 4-bit 权重。
- 部署框架选型：SGLang 对 MoE 路由/专家并行优化最佳，vLLM 通用性强，TensorRT-LLM 在 NVIDIA 卡上极致性能。
一个典型的 SGLang 启动 MoE 服务的命令：
# 用 SGLang 部署 DeepSeek-V3（专家并行 + 张量并行混合）
python -m sglang.launch_server \
--model-path deepseek-ai/DeepSeek-V3 \
--tp 8 \ # 张量并行：注意力/共享专家切 8 卡
--ep 8 \ # 专家并行：路由专家分 8 卡
--context-length 131072 \
--enable-torch-compile
1.7 何时该用 MoE：与稠密 / 线性架构的取舍
MoE 不是万能，选架构要看"显存预算"和"任务形态"：
| 维度 | 稠密 Transformer | MoE | 线性/SSM（Mamba 类） |
|---|---|---|---|
| 总参数=激活参数？ | 是 | 否（激活≪总参） | 是 |
| 单卡可跑？ | 小模型可 | 需多卡装总参 | 小模型可，长序列友好 |
| 每 token 算力 | 全参参与 | 仅激活参 | 全参但 O(n) |
| 长上下文成本 | O(n²) 高 | O(n²) 高（注意力仍是瓶颈） | O(n) 低 |
| 训练稳定性 | 最稳 | 需路由均衡，易塌缩 | 中等 |
| 典型适用 | 中小模型、延迟敏感 | 超大容量、需知识多 | 超长序列、流式 |
经验结论：
- 要"大知识容量且推理不太贵"→ MoE（旗舰通用模型首选）。
- 要"超长上下文 / 流式低延迟"→ 线性或 hybrid（Mamba/线性注意力）。
- 中小模型、单卡、任务简单→ 稠密（工程最简单、最稳）。
- 2026 的共识是 MoE + 混合注意力（少量全注意力 + 多数线性层） 的组合拳，单用任一都不够。
1.8 MoE 训练稳定性与踩坑
- 路由塌缩：辅助损失系数过大或过小都会让 router 偷懒。无辅助损失方案（DeepSeek 偏置法）最稳，但需要自己维护偏置更新逻辑。
- 专家热度不均：即使均衡，某些专家仍长期高频（如标点、空格专家），可监控
load[i]分布，必要时对热点专家做容量上限。 - Token dropping 不可见损失：开了容量因子丢弃后，长尾样本可能"静默"丢失，评测集若含长尾需关掉丢弃复测。
- 初始化：专家权重应与底座 FFN 同分布初始化（常从底座 FFN 切分/复制），避免随机初始化导致 router 早期全选某个专家。
- 与量化冲突：4-bit 底座上的 MoE 训练需确认框架支持"专家权重量化 + 路由 BF16"，否则反量化开销会把省下的算力吃掉。
早期先驱补充：GShard / GLaM（Google）是 MoE 在 Transformer 上规模化的最早系统工作——GShard 提出跨设备专家并行与自动分片，GLaM 用 MoE 在更少训练算力下超 GPT-3；它们确立了"top-2 路由 + 专家并行 + 辅助损失"的经典范式，后来的 Mixtral、DeepSeek 都是在此基座上迭代。
二、注意力机制本身的演进
MoE 解决了 FFN 的"容量/算力"矛盾，但 Transformer 的注意力仍是 O(n²)（序列长度 n 的平方复杂度），在百万级上下文下难以为继。这一节看注意力的演进。
2.1 长上下文
- 2023：8K → 32K 是新闻；2026：1M token 成旗舰标配（GPT-6 Astra 105万、DeepSeek-V4/GLM 1M），Gemini 实验级到 10M。
- 新的瓶颈不是"塞得下"而是"用得好"：长上下文利用率研究（长文检索 ≠ 长文推理）、大海捞针到多针、以及外置记忆（记忆外置/agent memory）方向。
关键观察：
- "塞得下"靠位置编码外推（RoPE 变体、p-RoPE、YaRN 等）与 KV Cache 压缩（MLA、MQA/GQA）；"用得好"靠训练时的长上下文数据配比与 mid-training 专项阶段。
- 长上下文利用率：研究（如"Lost in the Middle"）发现，模型对超长上下文中间部分的利用率远低于首尾，"大海捞针"全绿不代表真实长文推理能力强；多针、聚合式检索任务更能反映真实能力。
- 外置记忆：把长期知识存到向量库/可检索记忆（agent memory），模型只带"相关片段"进上下文，是突破上下文硬上限的务实方向。
2.2 线性注意力与状态空间模型
Transformer 的 O(n²) 注意力在超长序列下难以为继，两条替代路线 2025 年集体突破：
| 路线 | 代表 | 特点 |
|---|---|---|
| SSM（状态空间） | Mamba-2、Nemotron 3（Mamba-MoE） | O(n)，固定状态，适合流式 |
| 线性注意力 | RWKV、MiniMax（lightning-attn）、Qwen3.5（Gated DeltaNet）、Kimi K3（KDA） | O(n)，可并行训练 |
线性注意力的核心思想：把 softmax 注意力 \(O = \mathrm{softmax}(QK^\top)V\) 改写为核函数形式 \(O = \phi(Q)(\phi(K)^\top V)\)，先算 \(\phi(K)^\top V\)（与序列长度无关的"特征映射累加"），再乘 \(\phi(Q)\)，复杂度从 O(n²) 降为 O(n)。代价是丢失了精确的"任意两位置直接交互"，用固定大小的"状态"近似全局依赖。
SSM / Mamba：把序列建模成连续状态空间（状态方程），用选择性扫描（selective scan）让状态随输入动态更新，训练可并行、推理 O(n) 且恒定显存，特别适合流式长文本。Nemotron 3 把 Mamba 与 MoE 结合（Mamba-MoE），兼顾"大容量"与"线性复杂度"。
趋势不是取代而是混合：少数全注意力层负责精确检索 + 多数线性层负责吞吐（"hybrid attention"），DeepSeek-V4 的 CSA/HCA、各家长上下文方案都在这么干。实践上典型的 hybrid 配比：每 4~8 层线性/SSM 层插 1 层全注意力层，做"精确检索锚点"。
2.3 其他块级改进
- MTP（多 token 预测）：训练目标顺便产出投机解码草稿模型（DeepSeek-V3、Gemma 系）。MTP 让模型在训练时一次预测未来多个 token，这些"未来头"在推理时直接充当投机解码（speculative decoding）的草稿，免费的加速。
- p-RoPE / 位置编码变体：长上下文外推。RoPE 通过旋转矩阵编码位置，p-RoPE、NTK-aware RoPE、YaRN 等通过调整基频/插值延长可处理上下文。
- 滑动窗口 + 全局层交替（SWA+GA）：Gemma/MiMo 路线。大多数层只用局部滑动窗口注意力（O(w²)，w 为窗口），少数全局层负责跨窗口信息汇总，兼顾长上下文与效率。
- GQA/MQA：把多个 query 头共享一组 KV 头，KV Cache 砍数倍，已成旗舰标配（Llama3/Qwen3/DeepSeek 均用 GQA）。
三、优化器之争：AdamW vs Muon
2026 年一个出乎意料的热点：Muon 优化器（把 Adam 用于隐层正交化更新）在 Kimi K2/K3、GLM、DeepSeek-V4 全面胜出，被称为"decisively winning"；嵌入层和输出层仍用 AdamW。对训练效率的改善是这轮"低成本训练军备赛"的隐形功臣。
Muon 的核心：对权重矩阵（尤其是大型二维权重如 attention/FFN 的投影矩阵）使用 谱空间（Newton-Schulz 迭代做矩阵正交化） 的动量更新，而不是 AdamW 的逐元素更新。直觉上，Muon 让权重更新"方向更正交、信息利用率更高"，同等算力下收敛更快、最终 loss 更低；但对嵌入层、softmax 输出层（非方阵、需保持行/列语义）仍回退到 AdamW。
实践要点：
- 混合使用：主干权重用 Muon，embedding / LM head 用 AdamW（Muon 论文与各家复现都这么做）。
- 与 MoE 协同：Moon（Muon）+ MoE 的组合在 Kimi K2、DeepSeek-V4 上把训练 GPU 时砍掉可观比例，是"低成本训练"的关键之一（DeepSeek-V3 仅用 ~2.8M H800 GPU 时即训出 671B）。
- 落地门槛：Muon 需要自定义算子（Newton-Schulz 矩阵迭代），训练框架（如 MegaScale / 各厂自研）需适配，个人复现门槛高于 AdamW。
四、训练配方共识（2026 版）
来自各前沿实验室公开信息的"八点共识"：
- 现代 decoder block（RoPE + RMSNorm + SwiGLU）
- 细粒度 + 共享专家 MoE，全局 batch 均衡
- 数据：重度去重 + scaling law 配比 + mid-training 尾段（长上下文/推理/Agent 能力的专项中训练）
- 刻意 over-training（算力便宜后小模型多训）
- SFT/冷启动 → 强化学习
- GRPO 系可验证奖励 RL（RLVR）+ 熵控制
- 多阶段后训练，蒸馏穿插其中
- 安全奖励栈 + 红队/准备度评估
真正的分歧只有几处：合成 vs 人类数据、蒸馏继承 vs RL 习得、AdamW vs Muon（已定）、RL-heavy vs DPO。
补两处共识细节：
- mid-training：预训练后、SFT 前插入一个"专项中训练"阶段，用高质量长上下文/推理/agent 数据把模型能力"定向强化"，比直接进 SFT 效果更好，已成为前沿实验室标配。
- over-training（刻意过训）：因推理算力变便宜，小模型（如 7B/14B）用远超"最优训练 token 数"的数据训练，单卡也能拿到接近大模型的预训练质量，是"小模型工厂"的预训练侧对应物。
五、扩散语言模型：值得盯的新物种
自回归"逐 token 生成"之外，扩散式并行生成在 2025–2026 从图像走进文本：LLaDA-MoE（蚂蚁，首个原生 MoE 扩散语言模型）、Gemini Diffusion 等。优势：并行生成、可控"思考步数"；现状：复杂推理仍不敌顶级自回归模型，但 Gemini 1B 级扩散模型已在编辑/代码补全场景跑出极低延迟。属于"下一个可能改变游戏规则"的观察对象。
补几点：
- 工作原理：扩散 LM 在"噪声→文本"的连续去噪过程中并行生成所有 token（类似图像扩散），可一次性产出整段、再迭代精炼；与自回归"从左到右"相反。
- MoE 化：LLaDA-MoE 把去噪网络本身做成 MoE，让它兼具"扩散并行生成"与"MoE 大容量"，是架构交叉创新的代表。
- 适用场景：对延迟极敏感、可容忍"非自回归式"质量的任务（代码补全、文本编辑、草稿生成）里已显现优势；长链推理仍是自回归强模型的领地。
六、小结：架构演进的三条主线
把全篇收束成三条清晰主线，便于建立全局认知：
- 容量与算力解耦（MoE）：用"总参大、激活小"把知识容量和推理成本拆开。工程关键在路由均衡（从辅助损失到无辅助损失偏置）、专家并行通信、与量化的协同。代表：DeepSeek-V3（共享+细粒度+无辅助损失）、Mixtral（top-2）、Switch（top-1）。
- 复杂度降维（线性/SSM 注意力）：用线性注意力、SSM、滑动窗口等把 O(n²) 降到 O(n)，支撑百万级上下文。趋势是 hybrid——少量全注意力 + 多数线性层。
- 训练与后训练工艺升级：Muon 优化器、mid-training、over-training、RLVR、蒸馏穿插，让"低成本训出强模型"成为现实。
三者相互嵌套：MoE 提供容量、线性注意力提供长上下文、Muon/蒸馏/RLVR 提供低成本与强能力——这就是 2026 年旗舰大模型的架构全景。
浙公网安备 33010602011771号