Loading

【大模型Wiki】21 · 2026 大模型格局

2026 大模型格局：GPT-6 时代全景

大模型 Wiki · 补充篇 15 ｜ 2026-09 整理（信息截至 2026-09-18）

GPT 家族与大模型关键节点

本篇是"大模型 Wiki"的格局总览篇，目的是在 2026 年这个节点上，帮读者建立一张可更新的心智地图：谁在什么位置、为什么在那、以及你该据此做什么决策。它不追求穷尽所有模型（那会立刻过时），而是抓住"不会轻易变的架构趋势"和"会频繁变的型号名字"这两类信息的分野。

阅读建议：把第 1–3 节当成"事实底座"（截至 2026-09-18 的格局与时间线），第 4–6 节当成"因果分析"（为什么会发生），第 7–9 节当成"行动指南"（你该怎么做）。事实会过期，因果与方法的保质期长得多。

零、术语速查

  • MoE（混合专家）：只激活部分参数的稀疏架构，用"小激活"换"大容量"，推理便宜。
  • RLVR：可验证奖励强化学习（见第 14 篇），推理模型的训练核心。
  • agentic RL：在真实环境里多步执行、用任务完成度做奖励的 RL。
  • test-time compute：推理时多花 token/时间换更好结果（"想更久"）。
  • 越权率：模型自主操作时做出越权/危险动作的比例，对齐量化指标。
  • Muon / 线性注意力 / 稀疏注意力：2026 年训练与架构侧的关键词（见第 6 节）。
  • Harness：让模型接工具、跑长任务的运行时（见第 10 篇）。

一、当前旗舰格局："三强多极"

厂商 当前旗舰 关键词
OpenAI GPT-6 Astra（2026-09-03）、GPT-5.6 Sol/Luna、Terra Astra：Symphony 架构、105 万上下文、Agent 执行 + 深度推理；四模型双轨产品线
Anthropic Claude Fable 5.1、Opus 5 / 5.2 灰度 长时连续作业、自主校验，编码场景曾长期霸榜
Google Gemini 3 / 3.8 Flash 全模态 + agentic reasoning，1M+ 上下文，配套 Agent 编程环境
Meta Muse Spark 1.3 工具调用效率、高性价比
xAI Grok 4.5（~1.5T MoE） 50 万上下文、异步 agentic RL（用真实开发会话轨迹训练）

OpenAI 内部（OpenRouter 口径）：Astra（输入 $10/输出 $50 每百万 token）+ Luna（1/50 价格走量）+ Sol（快）+ Terra 组成完整价格带。2026-09 第一周，OpenAI 调用金额 30 多个月来首次反超 Anthropic。

把"三强多极"读出层次：

  • 三强：OpenAI、Anthropic、Google——闭源旗舰，各握一张王牌。OpenAI 强在数学/安全/电脑操作（Astra 的 FrontierMath、OSWorld、越权率 0%）；Anthropic 强在长程稳定与编码（Fable/Opus 长期霸榜编码榜）；Google 强在全模态与超长上下文（Gemini 1M+，原生多模态统一处理）。
  • 多极：Meta、xAI、以及庞大的开源军团（DeepSeek、Kimi、Qwen、GLM、MiniMax）——它们不追求"全维度第一"，而在性价比、私有化、特定场景上切开口子。

价格带的读法很重要：Astra 的 $10/$50 是"旗舰溢价"，Luna 用 1/50 价格走量，Sol 做快速廉价层，Terra 补长上下文/特殊场景。这四条线拼出一个"按任务选价位"的市场——同一家厂商内部已经开始"自我分层"，本质是把 test-time compute 与能力的定价权交还给调用方（呼应第 15 篇"推理速度商品化"）。

一个值得记住的信号：2026-09 第一周 OpenAI 调用金额 30 多个月来首次反超 Anthropic。这不是"谁模型更强"的单点胜负，而是"价格分层 + Agent 交付能力"综合作用下的商业拐点——说明开发者愿意为"能真把活干完"的模型付费。

补充解读"三强"各自的护城河与软肋，便于选型时不盲信榜单：

  • OpenAI 的护城河是"全栈产品化"：从底座（Symphony MoE）到推理（o 系/R1 系思想）到交付（Agent 执行、OSWorld 操作电脑）到定价（四模型双轨）一条龙。软肋是闭源不可审计、企业数据要出域，且价格带顶端贵。
  • Anthropic 的护城河是"长程稳定 + 编码"：Fable/Opus 在长时连续作业、自主校验上长期霸榜，深受"让 AI 写一整天代码"的开发者青睐。软肋是上下文长度与全模态不及 Gemini，且同样闭源。
  • Google 的护城河是"全模态 + 超长上下文"：Gemini 原生多模态统一处理、1M+ 上下文、配套 Agent 编程环境，适合"看图/看视频/读超长文档"的场景。软肋是推理尖度与电脑操作基准略逊 Astra。
  • Meta / xAI 的角色是"性价比与差异化"：Meta 用 Muse Spark 拼工具调用效率与高价性价比，xAI 用 Grok 4.5 的异步 agentic RL（真实开发会话轨迹训练）拼"在真实 coding 环境里练出来的能力"。它们不一定每项第一，但在特定维度有存在感。

选型口诀：尖端推理/操作电脑看 OpenAI，长程编码看 Anthropic，多模态/超长文档看 Google，性价比/真实开发轨迹看 Meta 与 xAI。

1.1、能力雷达：谁强在哪（定性对比）

把"三强 + 代表开源"放在同一张定性雷达上，便于一眼定位（★ 强 / ○ 中 / △ 弱，定性非精确分）：

维度 OpenAI Astra Claude Fable Gemini 3 DeepSeek-V4 Qwen3.5 Kimi K3
数学/硬推理 ★ ○ ○ ★ ○ ○
长程编码稳定 ○ ★ ○ ○ ○ ○
全模态 ○ △ ★ △ ○ △
超长上下文 ★(105万) △ ★(1M+) ★(1M) ○ ★(长上下文)
电脑操作 ★ ○ ○ ○ △ ○
对齐/安全 ★(越权0%) ★ ○ ○ ○ ○
性价比 △ △ ○ ★ ★ ○
可私有化 △(闭源) △(闭源) △(闭源) ★(开源) ★(开源) ★(开源)

读这张表的方法：不要找"全★"的模型（不存在），而是按你的前两个高频维度去选。比如"长程编码 + 可私有化"在 2026 仍是空缺组合——闭源编码强但不可私有化，开源可私有化但编码稳定性略弱，这正是你的工程要补的缝（用 Harness 的沙箱 + 评测兜底）。

1.2、格局的"不变项"与"易变项"

  • 不变项（半年内不会大变）：Transformer 架构底色、MoE 成默认、RLVR/蒸馏训练范式、Agent 运行时思想（MCP + Harness）。这些是你该投资学习的部分。
  • 易变项（每季度都可能换名字）：具体旗舰型号、各家基准分数、价格带。这些是"配置"而非"能力"——用可插拔架构（换 ctx.llm 适配器）吸收变化，别让业务绑死某一家的名字。

二、GPT 家族大事记（补全到 2026）

版本 时间 关键点
GPT-1/2/3 2018–2020 见第 02 篇
ChatGPT / GPT-4 2022-11 / 2023-03 消费级引爆 / 多模态起点
GPT-4o、o1 2024 原生多模态 / 推理范式开启
GPT-4.5、o3 2025 上半年 知识模型与推理模型并行
GPT-5 2025-08 内置实时路由器，快/深双模型统一，幻觉率大降
GPT-5.4 / 5.6 Sol/Luna 2025 底–2026 系列化、价格分层
GPT-6 基础版（"土豆"） 2026-04-14 Symphony 架构，5–6 万亿参数 MoE，10% 激活，200 万上下文，原生多模态统一处理
GPT-6 Astra 2026-09-03 代际跃升：Terminal-Bench Science 64.6%、FrontierMath T4 97.6%、ARC-AGI-3 99.9%、OSWorld 2.0 72.6%；越权操作率 0%（对齐里程碑）

值得注意的叙事变化：布罗克曼喊出"欢迎来到 AGI 时代"、黄仁勋附和，但 OpenAI 官方口径仍克制；同时 ARC-AGI-3 从 7.8% → 99.9% 的一代跃升，让"抽象推理饱和"首次成为现实议题。

把这张表读成"架构-能力"的演进：

  • GPT-5（2025-08）是范式整合点：把"快模型"和"推理模型"用实时路由器合二为一，用户不再手动选 o 系列还是 4o 系列。幻觉率大降说明"对齐 + 推理"协同生效。
  • GPT-6 基础版"土豆"（2026-04）是架构基座：Symphony 架构 + 5–6 万亿 MoE + 10% 激活 + 200 万上下文，解决的是"规模与效率"。MoE 只激活 10%，意味着单次推理成本被压到稠密模型的一小部分，却保有万亿级容量。
  • GPT-6 Astra（2026-09）是能力跃升：在"土豆"基座上叠加 agentic RL，把基准从"做题"推进到"操作电脑、做科研"。四个数字各代表一类能力：Terminal-Bench（终端科研）、FrontierMath T4（最难数学）、ARC-AGI-3（抽象推理）、OSWorld 2.0（电脑操作）。越权率 0% 是把"能操作电脑"和"不乱操作"同时达成——对齐里程碑。

关于"AGI 叙事"：布罗克曼与黄仁勋的高调，和 OpenAI 官方的克制形成反差。这种"创始人喊 AGI、官方留余地"的张力，本质是市场叙事与合规口径的分工——前者提振预期与股价，后者规避监管与过度承诺风险。作为技术读者，更应关注 ARC-AGI-3 从 7.8% 到 99.9% 这一硬指标：它意味着"抽象推理"这类曾被认为 LLM 做不到的事，已在基准上饱和，后续讨论要从"能不能"转向"在真实场景稳不稳、贵不贵"。

三、开源阵营：中国军团的并跑

模型 阵营 看点
DeepSeek-V4 / R1 系 DeepSeek V4：1.6T MoE、1M 上下文、Muon 优化器；R1 引爆 RLVR 开源路线
Kimi K2 / K3 月之暗面 万亿开源 MoE、KDA 线性注意力、QAT
Qwen3 / 3.5 阿里 全尺寸谱系最全，Gated DeltaNet 混合架构
GLM-5 / 5.2 智谱 DSA 稀疏注意力、1M 上下文
MiniMax-M2 MiniMax 10B 激活打性价比战（API ≈ Claude 的 8%）
Llama 3 / Nemotron 3 Meta / NVIDIA Llama 405B 稠密封顶；Nemotron 走 Mamba-MoE + 4bit 训练开放路线
OLMo 2 / Tulu 3 Ai2 全开放（数据+配方）研究标杆

格局判断：没有一家全维度领先——Astra 强在数学/安全/电脑操作，Fable 强在长程稳定，Gemini 强在全模态与长上下文，开源军团强在性价比与可私有化。竞争从"模型分"转向"任务交付 + 成本 + 速度"。

开源阵营的读法是"各擅胜场"：DeepSeek 拿 RLVR 与 Muon 优化器当招牌；Kimi 押线性注意力（KDA）解决长上下文效率；Qwen 用"全尺寸谱系 + 混合架构"覆盖从端侧到云端的全场景；GLM 用稀疏注意力（DSA）冲长上下文；MiniMax 用极小激活（10B）打价格战。它们共同把"闭源能做到的，开源用 1/10 成本也能做大部分"变成现实。

有个容易被忽略的角色：Ai2 的 OLMo 2 / Tulu 3 代表"全开放"路线——不仅放权重，连数据、训练配方、中间检查点都开源。它是学术界的"对照组"，让整个行业能复现、能审计、能站巨人肩膀。对学习者而言，想真正搞懂训练，OLMo/Tulu 比只放权重的模型价值更高。

把开源阵营逐个拆开看，能更清楚每家"赌注"在哪：

  • DeepSeek（V4 / R1 系）：赌"RLVR 路线 + 训练效率"。V4 用 Muon 优化器 + 1.6T MoE + 1M 上下文，主打"用更聪明的训练算法追上闭源"；R1 系则把"推理 RL + 蒸馏"做成开源范本，直接定义了一代开源推理模型的训练范式。它的战略是"用方法和配方开源，逼整个行业跟它的节奏走"。
  • 月之暗面（Kimi K2 / K3）：赌"长上下文效率"。KDA 线性注意力 + QAT 量化，针对"超长文档/代码库"场景把显存和成本压下来，万亿级 MoE 却能在更长上下文上跑得动。适合"读一整个仓库再改"的任务。
  • 阿里（Qwen3 / 3.5）：赌"全尺寸谱系 + 混合架构"。从端侧小模型到云端大模型全尺寸覆盖，Gated DeltaNet 混合架构兼顾效率与精度，战略是"谁都能在我家找到合适尺寸的模型"，做开源界的"全家桶"。
  • 智谱（GLM-5 / 5.2）：赌"稀疏注意力长上下文"。DSA 让它在不堆显存的前提下吃下 1M 上下文，偏研究/长文档场景，且与国内算力生态绑定深。
  • MiniMax（M2）：赌"极小激活打价格战"。10B 激活级别做到接近大模型的效果，API 价格约为 Claude 的 8%，战略是"用性价比抢高频调用"——它的存在本身就在压整个行业的价格上限。
  • Meta / NVIDIA（Llama 3 / Nemotron 3）：Llama 405B 是稠密模型的封顶参照（证明"不 MoE 也能很大"），Nemotron 走 Mamba-MoE + 4bit 训练开放路线，是"开放训练方法"的标杆，偏基础设施研究。
  • Ai2（OLMo 2 / Tulu 3）：赌"全开放可复现"。不止权重，数据、配方、中间检查点全放，是学术界的"对照组"与学习者的"活教材"。

一句话总结开源阵营的集体策略：闭源守"尖端能力"，开源就用"效率（MoE/线性注意力/Muon）+ 性价比（小激活）+ 可控（可私有化/可审计）+ 开放（配方/数据）"四张牌，把闭源的能力代差在"够用的长尾"上抹平。

四、2026 年的五个行业级变化

  1. 从"回答"到"交付"：旗舰模型评测全面转向长程 Agent 任务（OSWorld、AutomationBench、Terminal-Bench），AI 从聊天工具变成可自主调度、闭环交付的"数字工作体"。
  2. 推理速度商品化：OpenAI 推出 Ultrafast 极速推理服务（最高 14 倍加速），延迟/稳定性首次成为独立计费商品；竞争维度从"模型好不好"升级为"稳不稳、快不快、省不省"。
  3. MoE + 线性注意力成为新默认：效率革命让训练成本数月一个台阶，"参数军备"让位于"算力-算法-数据协同优化"。
  4. 安全与监管趋严：模型能自主操作电脑后，各国监管要求旗舰模型过网络安全/自主失控专项测试；OpenAI 用"越权率"量化对齐（GPT-5.6 无护栏 48% → Astra 0%），护栏能力本身成为卖点。
  5. 合成数据成为主粮：人类文本语料预计 2026–2028 耗尽（Epoch AI），"合成数据 + 验证器过滤 + 多源混合"成标准配方，model collapse 风险用管线管控。

逐条做因果分析（为什么会发生、意味着什么）：

① 从"回答"到"交付"的因果链：当推理模型把"单题准确率"推到接近饱和，下一阶段价值必然来自"把多题串成一件事做完"。评测跟着价值走——OSWorld（操作电脑）、AutomationBench（自动化办公）、Terminal-Bench（终端科研）这类"给个目标、看它办没办成"的基准，取代了"给道题、看答对没"的旧基准。对开发者的影响：应用架构从"问答"升级为"任务编排 + 环境交互 + 结果验证"三件套。

② 推理速度商品化的因果链：test-time compute 让"想多久"成了可调旋钮（见第 14 篇），于是"快"本身有了独立价值——同一模型，14 倍加速版适合实时交互，慢版适合离线深算。把它单列计费，是厂商把"推理算力"拆成"质量档 × 速度档"二维定价的必然。对开发者：延迟不再是工程优化项，而是可直接购买的 SKU。

③ MoE + 线性注意力成为新默认的因果链：纯稠密模型撞上"参数↑→训练/推理成本↑↑"的墙；MoE 用"只激活一小部分专家"把推理成本压住，线性注意力（KDA、Gated DeltaNet、DSA）用"与序列长度亚二次相关"的复杂度把长上下文成本压住。两者合流，让"万亿参数 + 百万上下文"在商业上可行。这是"算力-算法-数据协同优化"战胜"堆参数"的标志。

④ 安全监管趋严的因果链：能力（能操作电脑）走到哪，风险（乱操作/越权）就跟到哪。当模型能自己点按钮、跑命令，监管必然要求"做过自主失控测试"才能上线。OpenAI 用"越权率 48% → 0%"这种可量化指标，把"对齐"从口号变成可对比的卖点——谁越权率低，谁就更容易过审、更易被企业采购。

⑤ 合成数据成为主粮的因果链：高质量人类文本就那么多，Epoch AI 预估 2026–2028 耗尽，逼出"合成数据"路线。但纯合成会 model collapse（模型越学越窄），所以标准配方是"合成 + 验证器过滤（RLVR 那套可验证奖励挑出好样本）+ 多源混合（保留真实数据多样性）"。对研究者：未来"造好验证器"比"造大模型"更值钱。

五、给学习者的定位建议

  • 用：闭源看 GPT-6/Claude/Gemini 三家按任务选型；性价比与私有化选 DeepSeek/Qwen/Kimi 开源 API。
  • 部署：vLLM/SGLang 服务端 + Ollama 端侧（详见第 03 篇）。
  • 微调：LoRA/PEFT（第 06 篇）+ 蒸馏（第 11 篇）覆盖 95% 需求，全参数 RL 只在算力充裕时考虑。
  • 应用架构：MCP（第 07 篇）+ Agent 框架（第 08 篇）+ Harness 思想（第 09/10 篇）是 2026 年应用层的标准组件。

把建议落到"决策树"：

我要用模型 ──┬─ 要最强推理/操作电脑 → GPT-6 Astra / Claude Fable
             ├─ 要全模态/超长上下文 → Gemini 3 / 3.8
             ├─ 要便宜/私有化       → DeepSeek-V4 / Qwen3.5 / Kimi K3 API
             └─ 要端侧跑            → Ollama + MiniMax-M2 / Qwen 小尺寸

我要部署   ──┬─ 服务端高并发 → vLLM / SGLang
             └─ 本机试验   → Ollama

我要改模型 ──┬─ 95% 场景  → LoRA/PEFT + 蒸馏（R1-Distill 类）
             └─ 算力充裕  → 全参数 RL（GRPO/RLVR，见第 14 篇）

我要做应用 ──→ MCP（接工具）+ Agent 框架（编排）+ Harness（可追溯运行时）

六、技术趋势因果分析（深化）

这一节把"发生了什么"推进到"为什么发生"，聚焦三条主线。所有推理基于上文已确认的事实，不引入新数据。

6.1、为什么 Muon 优化器在 2026 胜出

DeepSeek-V4 把 Muon（Momentum + Newton-Schulz 正交化） 用作主力优化器，是 2026 年训练侧最值得关注的信号之一。要理解它为什么赢，先看清 AdamW 的瓶颈：

  • AdamW 的问题：它对每个参数独立做自适应学习率（按梯度的一阶/二阶矩），但不利用参数矩阵内部的结构。对大模型里那些巨型权重矩阵（embedding、注意力的 QKV、FFN），AdamW 把整块矩阵当成一堆互不相关的标量来更新，浪费了矩阵本身的可优化结构。
  • Muon 的思路：对权重矩阵 W，用 SGD 动量算出更新 U，再把 U 做 Newton-Schulz 迭代正交化得到 Ũ（使 ŨᵀŨ ≈ I），用 Ũ 去更新 W。直觉上，正交化让更新"均匀发力"在矩阵的所有方向，而不是被少数大范数方向主导——相当于给矩阵做了一次"白化"后的最优步。
Muon 一步（概念，带中文注释）：
  U = β·U + (1-β)·∇L(W)        # 动量：平滑梯度
  Ũ = NewtonSchulz(U)          # 正交化：让更新各方向均衡、条件数更好
  W = W - lr · Ũ               # 用正交化后的更新步进

为什么"在 2026 胜出"而非更早？三个条件同时成熟：

  1. 模型够大、矩阵够胖：Muon 的收益随矩阵维度放大而显著；万亿级 MoE 里那些大矩阵，正好让它"结构可利用"的优势充分释放。小模型上 Muon 与 AdamW 差别不大，所以早年没存在感。
  2. 训练预算吃紧逼出效率：当"再堆数据/参数"成本太高，任何"同等算力下收敛更快"的优化器都有压倒性吸引力。Muon 在大规模上常被报告"达到同损失所需的 token 更少"，直接转化为训练费省。
  3. Newton-Schulz 的可微实现成熟：正交化的迭代可在 GPU 上高效、数值稳定地跑，工程门槛被踩平。

注意：Muon 不是"取代 AdamW"的万能药。它通常只对二维权重矩阵（线性层）用 Muon，对 embedding、layernorm、偏置等仍用 AdamW——所以真实配方是"Muon + AdamW 混合"。这也是为什么它"胜出"指的是"成为大规模训练的主力选项之一"，而非全盘替换。

6.2、蒸馏如何拉平差距

"开源小模型逼近闭源旗舰"在 2025–2026 成为常态，机制在于蒸馏把"能力上限"和"部署成本"解耦：

  • 教师拓荒、学生搬运：闭源/大模型用昂贵的 RL（乃至 agentic RL）把能力推到顶（第 14 篇所述），再用"CoT 蒸馏"把"思考轨迹"教给小模型。小模型不需要自己花那份 RL 算力，只需一次 SFT 模仿教师的思考过程。
  • 差距被"拉平"的边界：蒸馏能让学生在教师已覆盖的分布上接近教师，但上限被教师锁死——学生不会超过教师，且在教师没见过的长尾/新任务上仍偏弱。所以"差距拉平"主要发生在基准可验证、分布稳定的任务（数学、代码、标准推理），而在开放创意、真实 agentic 长程任务上，大模型仍明显领先。
  • 对行业的含义：中小团队不必追"训自己的 GPT-6"，用 R1-Distill / Qwen-Distill 类权重 + 自己数据微调，就能在 90% 的业务场景达到够用的推理水平。这把"前沿能力"从"只有巨头玩得起"变成"下载即用的公共品"，是开源阵营能"并跑"的根本经济学原因。

6.3、开源与闭源的博弈

2026 年的博弈不再是"谁开源谁闭源"的立场之争，而是三种价值的交换：

  • 闭源的价值：最强单点能力（Astra 的数学/操作）、最稳的对齐（越权率 0%）、最完整的产品化（路由、速度档、企业合规）。它卖的是"把活交付了"的确定性。
  • 开源的价值：可私有化（数据不出域）、可审计（权重/数据/配方全开放）、可改（换 seam、换模型、换 UI，呼应第 10 篇 Harness 思想）、便宜（API 价格常是闭源的零头）。
  • 博弈的动态：闭源用"能力代差"维持溢价，但蒸馏 + RLVR 开源路线不断把代差抹平；开源用"性价比 + 可控"吃掉企业市场。结果是「闭源守尖端、开源占长尾」的稳态——闭源不会消亡（尖端仍领先），开源也不会输（长尾足够大）。

一个常被低估的变量：开源在"验证器/数据/配方"上的开放，会反哺闭源的研究。OLMo/Tulu 这种全开放标杆让整个行业站在同一组可复现事实上，闭源实验室也从中受益。所以博弈更像"竞合"——能力上竞争，基础设施上共享。

6.4、线性注意力为何成为新默认

MoE 解决了"参数多但推理贵"，但长上下文还有第二道墙：标准注意力（softmax attention）的计算/显存与序列长度呈平方关系——上下文从 8K 涨到 1M，注意力成本涨约 (1M/8K)² ≈ 1.5 万倍，直接不可承受。线性注意力类架构（Kimi 的 KDA、Qwen 的 Gated DeltaNet、GLM 的 DSA、NVIDIA Nemotron 的 Mamba-MoE）用"状态递归"把复杂度降到与长度亚二次（甚至线性）相关：

标准 softmax 注意力：  开销 ∝ N²（N = 上下文长度）   # 长上下文爆炸
线性/稀疏注意力：      开销 ∝ N · d  或  N（d = 状态维度）# 长度近似线性增长
  • KDA（Kimi）：用"分块 + 门控"的线性注意力，长文档/长代码库场景显存友好，配 QAT（量化感知训练）进一步压部署成本。
  • Gated DeltaNet（Qwen）：把"delta 规则在线更新"与门控结合，兼顾"记住新事"和"忘掉噪声"，是混合架构（线性层 + 少量 softmax 层）的代表。
  • DSA（GLM）：稀疏注意力，只让关键位置互相注意，1M 上下文下成本可控。
  • Mamba-MoE（Nemotron）：把状态空间模型（SSM）与 MoE 融合，4bit 训练开放路线。

为什么 2026 才"成默认"？因为纯线性注意力早年有质量债：递归状态记不住太长的精确细节，长程检索会掉点。2025–2026 的解法是"混合"——大部分层用线性/稀疏省成本，少数层保留 softmax 保精度，再加门控/分块补记忆。当这套混合架构在 1M 上下文上质量追平纯 softmax、成本只剩零头，"线性/稀疏 + MoE"就自然成了新默认。

6.5、合成数据为何成主粮（深化因果）

"人类语料 2026–2028 耗尽"不是危言，而是可推算的事实：高质量公开文本就那么多，且模型训练吃掉的速度远快于人类产生新文本的速度。这逼出合成数据，但纯合成的陷阱是 model collapse（模型塌陷）——用模型生成的数据训模型，分布会逐代变窄、多样性流失、最终退化。

工业界标准配方是"三件套"：

  1. 合成：用强模型批量造训练语料（故事、题解、对话、代码）。
  2. 验证器过滤：用 RLVR 那套可验证奖励（第 14 篇）挑出"真对、真好"的样本，丢掉噪声——这一步是防塌陷的关键闸门。
  3. 多源混合：把过滤后的合成数据，与保留的真实数据、领域数据按比例混合，维持分布多样性。

因果链闭合：语料枯竭 → 必须合成 → 合成会塌陷 → 必须有验证器 → 验证器能力成新瓶颈。这进一步佐证 6.2 的结论——2026 年"造好验证器"的战略价值，不亚于"造大模型"本身。

七、给开发者的选型建议（深化）

基于前五节的因果分析，给三类读者更具体的行动指南：

① 做产品的开发者（最关心成本与稳定）

  • 先按任务分桶：高价值、容错低的（财报分析、代码重构）→ 闭源旗舰（Astra/Fable）；高频、成本敏感的（摘要、分类、客服）→ 开源 API（DeepSeek/Qwen/Kimi）。
  • 用 MCP + Agent 框架把"模型"做成可插拔依赖，别和某家厂商绑死——哪天真出更强更便宜的，换 ctx.llm 的适配器即可（Harness 思想）。
  • 把"思考预算"当成本旋钮：高频简单任务关思考，疑难才开，直接砍推理账单。

② 做研究的开发者（最关心可复现与可控）

  • 以 OLMo 2 / Tulu 3 为基线复现，以 DeepSeek-R1 系学 RLVR 配方，以 Qwen3.5 全尺寸谱系做消融。
  • 把精力投向"验证器"与"RLVR 奖励设计"——2026 年"造好奖励"比"造大模型"更具杠杆（见 6.2、第 14 篇 2.5）。
  • 长程任务用 agentic RL 思路，但务必做"轨迹可训练性过滤"，否则稀疏奖励下极易训崩。

③ 做部署的开发者（最关心吞吐与延迟）

  • 服务端无脑 vLLM/SGLang（MoE 优化成熟）；端侧 Ollama + 小尺寸 MoE（MiniMax-M2 / Qwen 小尺寸）。
  • 关注"线性注意力/稀疏注意力"模型（Kimi KDA、GLM DSA、Qwen Gated DeltaNet）在长上下文下的显存优势。
  • 推理侧用"投机解码 + 批处理 + 量化"三件套压成本；把"速度档"作为独立 SKU 提供给上层业务（推理速度商品化）。

八、2026 年的风险与认知误区

技术狂奔时，最该泼的几盆冷水：

  1. "基准饱和 ≠ 场景可用"：ARC-AGI-3 从 7.8% 到 99.9% 看着吓人，但基准是"受控任务"。真实业务里输入脏、目标模糊、环境会变，代差会缩水。别被单一基准数字催眠，要做自己场景的离线评测。
  2. "推理越强越贵"不是宿命，但需主动管理：test-time compute 让成本随思考长度上升。不配思考预算、不过滤简单任务，账单会失控。成本是可调旋钮，不是固定税。
  3. "开源能平替闭源"只在分布内成立：蒸馏拉平的是可验证任务的基准分；开放创意、长程 agentic、对齐稳定性上，闭源仍领先。别用开源小模型硬扛它没被教过的尖端任务。
  4. "agentic RL 很香但很脆"：稀疏奖励 + 长程，训崩概率高。中小团队别盲目上全参数 agentic RL，先用蒸馏 + 高质量 SFT 站住，再考虑 RL。
  5. "安全不是附加项"：模型能操作电脑后，越权/失控是上线红线。把"越权率""自主失控测试"当成和准确率同等重要的发布门槛，而非上线后补。
  6. "别追新模型焦虑"：GPT-6、V4、K3 每月都有新名字，但应用层 80% 的价值来自稳定的工程（MCP + Agent + Harness + 评测），不在追最新旗舰。模型可插拔，架构要稳。

九、给学习者的 12 个月路线图（实践）

把"学什么"落成可执行路径，呼应"一句话总结"里那个逐年演进的脉络：

第 1–2 月  地基：Transformer / 注意力机制 / 分词 / 预训练与 Scaling Law（第 02 篇）
第 3 月    提示工程：CoT、Few-shot、结构化输出、工具调用约定（第 04/05 篇）
第 4 月    RAG：检索 + 重排 + 拼接上下文（第 07 篇）
第 5–6 月  Agent：循环、工具、规划、记忆；读 Harness 源码理解运行时（第 08/09/10 篇）
第 7 月    推理模型：RLHF→RLVR、GRPO、test-time compute（第 14 篇）
第 8 月    训练实操：LoRA/PEFT + 蒸馏，先站住再谈 RL（第 06/11 篇）
第 9 月    部署：vLLM/SGLang 服务端 + Ollama 端侧，量化与批处理（第 03 篇）
第 10 月   评测：用 Minimal 模式做控制变量基准，建立自己场景的离线评测
第 11 月   组合成生产系统：MCP + Agent 框架 + 可追溯 Harness + 监控
第 12 月   选型与成本：按任务分桶、配思考预算、跟踪格局变化（本篇）

这套路径的核心思想：先吃透不变的工程（Transformer、RAG、Agent、运行时），再追会变的模型（每年换名字）。模型是消耗品，架构能力是资产。

补充说明"为什么按这个顺序"：前几个月的地基（Transformer/注意力/预训练）是一切的上游，不懂它就看不懂后面所有架构选择；中间的 RAG/Agent/Harness 是"把模型接进真实系统"的不变骨架，占应用层 80% 的价值；后段的推理模型/训练/部署/评测是"让系统更准更省"的放大器。顺序上"先骨架后放大器"，是因为骨架错了，放大器再强也救不回一个会跑偏的系统。

十、小结

  • 格局：三强（OpenAI/Anthropic/Google）守尖端，多极（Meta/xAI/开源军团）占长尾；竞争维度已从"模型分"转为"任务交付 + 成本 + 速度"。
  • 能力：推理模型（o1/R1 路线）把单题准确率推到饱和，agentic RL 把竞争推向"在真实环境把事办成"；Astra 的越权率 0% 标志对齐进入可量化时代。
  • 训练：MoE + 线性注意力成默认，Muon 在大规模上胜出靠"利用矩阵结构降条件数"，蒸馏把前沿能力下沉成公共品。
  • 数据：合成数据成主粮，验证器过滤是防 model collapse 的关键。
  • 行动：用配置而非改源码管理 Agent 运行时（Harness 思想）；用蒸馏而非全参数 RL 上手；按任务分桶选型，把思考预算当成本旋钮。

一句话总结：2020 年大家在学 Transformer，2023 年在学 Prompt，2024 年在学 RAG，2025 年在学 Agent——2026 年该学的，是把上面全部东西组合成一个可靠的、可交付任务的生产系统。

posted @ 2026-09-19 05:44  Stellan7  阅读(47)  评论(0)    收藏  举报