Nemotron 3 Super：NVIDIA 开源的高效混合 MoE Mamba-Transformer 大模型

论文日报 2026-04-17

🌟 精选论文

Nemotron 3 Super：NVIDIA 开源的高效混合 MoE Mamba-Transformer 大模型

---

📌 基本信息

字段	内容
论文标题	Nemotron 3 Super: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning
arXiv ID	2604.12374
发布日期	2026 年 4 月 14 日
作者机构	NVIDIA（545 位作者，含 Bryan Catanzaro、Mohammad Shoeybi、Oleksii Kuchaiev 等核心研究员）
论文 PDF	https://arxiv.org/pdf/2604.12374
开源模型	HuggingFace：nvidia/nvidia-nemotron-v3

---

💡 研究背景与动机

当前大模型面临一个根本矛盾：模型越大能力越强，但推理效率越低。稠密 120B 模型（如 GPT-OSS-120B）虽精度优秀，却因推理成本极高限制了实际部署。混合专家（MoE）架构通过稀疏激活降低计算量，但传统 MoE 设计面临两个瓶颈：

1. 架构效率：每 FLOP 精度与每参数精度难以同时优化
2. 推理加速：长上下文生成时序列状态管理成本高

Nemotron 3 Super 通过 LatentMoE + Mamba-Transformer 混合架构 + NVFP4 低精度训练 + 原生投机解码，系统性地突破上述两个瓶颈。

---

🔬 核心贡献与创新点

① LatentMoE —— 新型 MoE 架构设计

传统 MoE 架构仅关注"每 FLOP 精度"，忽视了"每参数精度"。LatentMoE 通过引入潜在路由机制（Latent Routing），同时优化两个目标：

• Accuracy per FLOP：在给定计算预算下最大化模型精度
• Accuracy per parameter：在给定参数量下最大化模型表达能力

最终实现 120B 总参数 / 12B 活跃参数（激活比 10%），与同等规模稠密模型相比，FLOP 消耗降低约 90%。

② 混合 Mamba-Attention 架构

Nemotron 3 Super 将 Mamba（状态空间模型，SSM）与 Transformer 注意力机制按比例混合：

• Mamba 层优势：处理长序列时线性时间复杂度，状态递推无需缓存全量 KV，内存效率极高
• Attention 层优势：精确捕捉任意位置间的依赖关系，维持模型质量上界
• 混合设计使得 1M token 长上下文支持成为可能（纯 Attention 架构在此长度下内存开销难以接受）

③ NVFP4 预训练 —— 业界首次

NVFP4（NVIDIA 4 位浮点）是 NVIDIA Blackwell 架构引入的新数据类型，比 FP8 精度更低但计算密度更高。Nemotron 3 Super 在 NVFP4 格式下完成 25 万亿 token 的全量预训练，为业界首例。

关键发现：量化实验显示，NVFP4 量化版本与 BF16 原版精度损失极小（RULER 1M：91.60 vs 91.64），说明 NVFP4 训练的模型具备良好的数值稳定性。

④ MTP（Multi-Token Prediction）+ 原生投机解码

在标准自回归解码（AR）中，每步仅预测 1 个 token。Nemotron 3 Super 在后训练阶段集成了 MTP 层，使模型在推理时可原生支持投机解码：

• 主模型（draft）每步预测多个 token 候选
• 验证步骤并行完成，无需独立的小草稿模型
• 相比传统 Speculative Decoding 无需额外模型维护开销

⑤ 完整 SFT + RL 后训练流程

• 监督微调（SFT）：在指令遵循、数学、代码、长上下文任务数据上微调
• 强化学习（RL）：通过可验证奖励（RLVR）进一步强化推理能力
• 后训练后支持 100 万 token 的超长上下文

---

📊 实验结果

推理吞吐量对比（核心指标）

对比对象	吞吐量提升	说明
GPT-OSS-120B（稠密模型）	2.2×	8k 输入 / 64k 输出场景
Qwen3.5-122B	7.5×	同等任务负载

基础模型基准测试（vs Ling-flash-Base-2.0 & GLM-4.5-Air-Base）

基准测试	Nemotron 3 Super	Ling-flash-Base-2.0	GLM-4.5-Air-Base
MMLU（5-shot）	86.01	81.00	81.00
MMLU-Pro（CoT）	75.65	62.10	58.20
GPQA-Diamond	60.00	36.00	23.20
MATH（4-shot）	84.84	63.80	50.36
AIME 2024（pass@32）	53.33	30.00	20.00
HumanEval	79.40	70.10	76.30
RULER 128K	88.26	52.03	61.70
RULER 1M	71.00	—	—

基础模型在几乎所有基准上全面领先，GPQA-Diamond（科学推理）尤为突出（60.00 vs 36.00 vs 23.20）

后训练模型基准测试（vs Qwen3.5-122B & GPT-OSS-120B）

基准测试	Nemotron 3 Super	Qwen3.5-122B	GPT-OSS-120B
MMLU-Pro	83.73	86.70	81.00
HMMT Feb25（有工具）	94.73	89.55	—
GPQA（无工具）	79.23	86.60	80.10
LiveCodeBench v5	81.19	78.93	88.00
SWE-Bench（OpenHands）	60.47	66.40	41.90
IFBench	72.56	73.77	68.32
RULER 256K	96.83	96.74	52.30
RULER 512K	95.22	95.95	46.70
RULER 1M	91.64	91.33	22.30

长文本（RULER）方面全面领先，GPT-OSS-120B 在 256K+ 场景下表现断崖式下滑；Qwen3.5-122B 在 Agent 任务（SWE-Bench、TauBench）上稍胜一筹

量化精度保持率

基准测试	BF16	FP8	NVFP4
MMLU-Pro	83.73	83.63	83.33
HMMT Feb25（有工具）	94.73	94.38	95.36
RULER 1M	91.64	91.43	91.60
IFBench	72.58	72.32	73.30

NVFP4 量化版在部分基准上甚至略优于 BF16，量化精度损失可忽略不计

---

🔍 研究亮点与为什么值得关注

1. 来自 NVIDIA 核心研究团队：545 位作者包含 AI 基础设施领域最顶尖的工程师和研究员（Shoeybi、Catanzaro 均为 Megatron-LM 的主要发明人）

2. 三项同步创新：架构（LatentMoE + Mamba）+ 训练精度（NVFP4）+ 推理加速（MTP 投机解码），三者协同产生了 7.5× 的吞吐量飞跃

3. 实验数据极具说服力：

   • 基础模型在知识推理（GPQA）和数学（AIME 2024）上的领先幅度超出预期
   • 长上下文能力（RULER 1M：91.64）显著超越 Qwen3.5-122B（91.33）和 GPT-OSS-120B（22.30）
   • 量化模型精度损失几乎为零，工业部署友好

4. 完全开源：基础模型、后训练模型、量化模型权重 + 训练数据集全部开源，对社区贡献极大

5. 对实际工程的指导意义：

   • NVFP4 预训练路径是业界首次实践，为下一代 Blackwell GPU 的高效训练树立了范式
   • MoE 激活比从传统的 15-20% 降至 10%，验证了更稀疏 MoE 的可行性
   • Mamba-Transformer 混合在工业级长上下文场景的成功，为纯 Transformer 替代方案提供了重要数据

---

💭 局限性与未来方向

• Agentic 任务（SWE-Bench、TauBench）略弱于 Qwen3.5-122B，说明复杂工具调用和长程规划仍有提升空间
• GPQA（无工具）指标（79.23）未达到 Qwen3.5-122B 水平（86.60），高难度科学推理仍是短板
• Mamba-Transformer 混合比例的最优配置尚未充分探索，消融实验有待更多公开

---

📚 扩展阅读（本周其他值得关注的论文）

#	论文标题	arXiv	一句话要点
1	KnowRL: Boosting LLM Reasoning via RL with Minimal-Sufficient Knowledge Guidance	2604.12627	百度 NLP 团队：将 RL hint 设计定义为"最小充分引导"问题，原子 KP 分解 + CSS 搜索，1.5B 模型 8 基准 SOTA（74.16 avg）
2	SparseBalance: Load-Balanced Long Context Training with Dynamic Sparse Attention	2604.13847	动态稀疏度调整 + 稀疏感知批处理联合优化，长上下文分布式训练端到端加速 1.33×，LongBench +0.46%
3	StaRPO: Stability-Augmented Reinforcement Policy Optimization	2604.08905	将推理稳定性（ACF + PE 两个轻量指标）显式纳入 RL 奖励，同时提升答案准确率和推理过程逻辑一致性
4	SpecMoE: Fast MoE Inference via Self-Assisted Speculative Decoding	2604.10152	KAIST · DAC 2026：MoE 自辅助投机解码，无需微调，内存受限场景吞吐量提升 4.30×