AIGC标识 Kimi K3.1 Pro 的智能体评分，为什么依然不如 GPT-6.1 Sol

TL;DR

Kimi K3.1 Pro 在 Arena Agent 榜上排第 11（净改进 +7.61%，单任务 $1.17），GPT-6.1 Sol (Max) 排第 5（+13.64%，$0.79）。但这两行数字不能按"谁能力更强"来读。

三件事同时成立：① 固定基准上 Kimi 大幅领先（Terminal-Bench 4.0 独立测 67% vs 56.1%，Agents' Last Exam 43.2 分全场第一）；② Arena Agent 榜是真实会话偏好榜，不是能力榜，它的单项读数有 ±2~3pp 的置信区间；③ 前代 Kimi K3 在这张榜上做过一次教科书级的自然实验——样本从 8,344 涨到 138,654，同一个模型从第 4 名掉到第 25 名。

我的判断：这 6.03pp 的差距，方向可能是真的，量级几乎肯定被样本量放大了。Kimi K3.1 Pro 现在是"4,000 场会话的新模型读数"，正处于这张历史上最容易被高估的位置。

真正值得警惕的不是分数，是另一个数字：同价（$2/$10）下，Kimi 单任务多花 48% 的钱。

1. 两种"智能体分数"不是一回事

2026 年下半年评估智能体模型，公开的榜单至少有三种，它们测的根本不是同一件事：

类型 代表 测什么 可复现性
固定任务基准 Terminal-Bench 4.0、Agents' Last Exam、AutomationBench-AA 给定任务集的通过率 高（任务集固定）
综合能力指数 Artificial Analysis Intelligence Index、Vals Index 多个基准的加权合成 中（取决于权重）
真实会话偏好榜 Arena Agent（Agent Arena） 真实用户 Agent Mode 会话中的任务完成度、可控性、满意度 低（任务分布不可控、不可重放）

用户问"为什么 A 不如 B"时，九成的困惑来自把第 1 类和第 3 类混着读。这两类榜单甚至会在同一对模型上给出方向相反的结论——而且两个结论都是对的。

下面把 Kimi K3.1 Pro 和 GPT-6.1 Sol (Max) 在这三类榜单上并排放一遍。

2. 数据集：两个方向相反的榜单

2.1 固定基准：Kimi 明确领先

以下均为 Artificial Analysis 独立测量（非厂商自测），是跨模型可比的那一套口径：

基准 Kimi K3.1 Pro GPT-6.1 Sol (max) 谁赢 差距
Terminal-Bench 4.0 67.2% 56.1% Kimi +11.1pp
Agents' Last Exam (Berkeley RDI) 43.2（全场第 1） 未进前十 Kimi —
AutomationBench-AA 73% 64.9% Kimi +8.1pp
GDPval-AA 1,846 Elo（第 3） 54.8%（v2.1，量纲不同） Kimi —
CyberGym-E2E-AA 95%（AA 测过最高） — Kimi —
Humanity's Last Exam（无工具） 52% 52.9% Sol −0.9pp
AA-Omniscience 幻觉率 44% 41.5% Sol −2.5pp
Terminal-Bench Science 0.1 38.1% 58.1% Sol −20pp

注：Agents' Last Exam 榜单共 22 个模型、16 个独立测量 + 6 个仅厂商报告。GPT-6.1 Sol 不在前十名内，因此这里只能给出"未进前十"，不做点估计。

加上 Moonshot 自测但被 AA 独立复现的项：OfficeQA Pro v2 拿到 64.4 分（当前最佳，高于 Opus 5.5 的 62.2）、SWE-Marathon v1.1 拿到 51.7（Opus 5.5 为 46.3）。Code Arena WebDev 上 Kimi K3.1 Pro 以 1,692 分排第 8，前代 K3 是 1,655 分第 17。

固定基准的结论很干脆：在"多步执行、工具调用、长程工程"这条线上，Kimi K3.1 Pro 是压倒性的。 Terminal-Bench 4.0 从前代 K3 的 13% 跳到 67%，这个涨幅不是噪声。

2.2 真实会话偏好榜：Kimi 落后

Arena Agent 榜 2026-10-23 快照（2,557,423 场会话，55 个模型）：

排名 模型 净改进 单任务成本 P50 输出 token P50
1 Claude Opus 5.5 (Max) +20.77% $6.33 123.1K
2 Claude Sonnet 5.5 (Max) +13.99% $4.45 —
3 GPT-6 Astra (Max) +13.96% $4.37 33.2K
4 Claude Fable 5.1 (Max) +13.94% $8.07 63.9K
5 GPT-6.1 Sol (Max) +13.64% $0.79 32.9K
6 Gemini 4 Argon (High) +11.75% $1.08 38.3K
8 GPT-6 Sol (Max) +8.57% $1.53 36.7K
9 Claude Opus 5 (Max) +8.22% $5.12 67.8K
10 Claude Fable 5 (High) +7.75% $3.46 22.7K
11 Kimi K3.1 Pro (Max) +7.61% $1.17 —

第 7 名在我抓到的快照片段中被跳过，未做补全。

帕累托前沿（净改进 × 成本）的成员是：Opus 5.5、Sonnet 5.5、Astra、Sol、DeepSeek-V4.1-Flash、MiMo-V2.6-Pro、GPT-6 Luna 三个档位。Kimi K3.1 Pro 不在帕累托前沿上——它被 Sol 在两个维度上同时支配（分数更低、成本更高）。

于是问题变成：为什么一个在固定基准上赢 11pp 的模型，在真实会话榜上输 6pp？

3. 拆解一：样本量，这是整件事的关键

Arena 官方的 @arena 公告写得很清楚：Kimi K3.1 Pro 是基于 4,000 多个真实 Agent 会话的读数，排名从第 25 跃升到第 11。

而同一张榜上：

模型 评测场次
Claude Fable 5 (High) 43,368
Gemini 4 Argon (High) 37,164
GPT-6.1 Sol (Max) 15,208
Claude Opus 5.5 (Max) 11,538
Kimi K3.1 Pro (Max) ~4,000

4,000 vs 15,208——Kimi 的样本量只有 Sol 的 1/4。

粗略估计置信区间：若区间宽度近似按 $1/\sqrt{n}$ 收缩，用 K3 在 138,654 场时 ±0.74% 的 CI 反推，4,000 场的 CI 约为 ±4pp 量级。这个估计很粗糙（分布重尾，真实情况更复杂），但量级方向是明确的：Kimi K3.1 Pro 的 +7.61% 与 Sol 的 +13.64% 之间的 6.03pp 差距，在统计上和噪声处在同一档。

3.1 前代 K3 做过的那个自然实验

这里有个几乎完美的对照实验。同样是 Moonshot 的模型、同样的指标口径、同一张榜，样本量涨了 16 倍：

时点 场次 净改进 排名 确认成功 好评/差评
早期快照 8,344 +9.62% #4 +14.42%（#1） +20.62%（#3）
后续快照 138,654 +1.77% #25 +6.26% +1.82%

同一个模型，样本从 8,344 涨到 138,654，净改进从 9.62% 掉到 1.77%，排名从第 4 掉到第 25，"用户确认成功"从全场第一掉到中游。

这不是模型退化——模型没变。这是回归均值叠加任务分布迁移的教科书案例：早期 8,000 场会话恰好偏向了 K3 强的那类任务，等真实流量铺开，读数就回归了。

K3.1 Pro 现在正处在完全相同的位置：4,000 场会话，排名一路从 25 跳到 11。

可证伪的预测：如果 K3.1 Pro 的领先是真实能力驱动的，随着会话数向 10 万量级推进，它的排名应该稳住甚至继续爬升；如果它复现 K3 的轨迹，排名会在接下来两到三批里回落。

盯什么：Arena Agent 榜每 2 天出一批，Kimi K3.1 Pro 的"评测场次"字段涨到 3 万以上时再看它的净改进。这是我认为接下来最值得做的一次检查。

4. 拆解二：指标口径本身在惩罚"话多"

Arena Agent 的净改进不是通过率，它是对九个信号的合成：任务完成度、确认成功、好评/差评、可控性、Bash 可靠性、工具幻觉等。这里面有相当一部分是主观体感。

而 K3.1 Pro 恰好在主观体感这一侧有已知特征。HN 讨论区当时最热的一条评论是：

"Kimi 比美国模型直白、有争辩得多。它会说'我们已经讨论过三次了，你拒绝接受我的建议，换个问法答案不会变。'"

AA 的独立测量同时给出：K3.1 Pro 每任务输出 55K token，比前代 K3 多 14%，比参测模型中位数高 72%；输出速度 73.5 tok/s，低于同类中位数的 81.1 tok/s。

这三个事实连起来是一条完整的因果链：

  1. 输出 token 多 72% → 单任务成本上升；
  2. 语速更慢 → 用户等待更久；
  3. 人格更"杠" → 更可能出现需要用户介入重述的回合，可控性与好评/差评两项都受损。

在固定基准上，这三点一个都不会被扣分——Terminal-Bench 只看你有没有把任务做完。但在真实会话榜上，它们全部计分。

这解释了一个看似矛盾的细节：Kimi 在 Code Arena WebDev 榜（也是真实用户偏好）上从第 17 冲到第 8 拿 1,692 分，同一个模型、同一套偏好机制、同一类真实流量，排名是涨的。区别只在于 WebDev 任务更接近 Kimi 的强项长程构建，且不涉及长对话中的反复拉扯。

5. 拆解三：Harness 税

Arena 的 Agent 榜评的是「模型 + 它的执行环境」这个组合，不是裸模型。榜单上每个模型的 harness 是标注出来的：

  • Kimi K3 → Kimi Code
  • GPT-6 Sol / Luna / 5.6 Sol / GPT-6 Astra → Codex
  • Claude 全系 → Claude Code

Arena 自己在 2026-09-16 发过一篇博客《HarnessTax: How Much Does the Harness Matter for Coding Agents?》，专门量化这件事。跨 harness 比排名，本质上是在比 harness 团队，不完全是在比模型。

Kimi Code 相对 Codex 是新得多的一侧，K3.1 Pro 又是 10-23 才接入的——harness 侧的成熟度差还没被样本量摊平之前，它会持续体现为真实会话的额外摩擦。

6. 拆解四：token 经济学——这才是真正该关注的数字

把单价和消耗放一起看，信号就干净了：

模型 输入/输出（$/M） 缓存输入 单任务成本 净改进 每美元净改进
GPT-6.1 Sol (Max) $2 / $10 $0.10 $0.79 +13.64% 17.3 pp/$
Gemini 4 Argon (High) $2 / $10 — $1.08 +11.75% 10.9 pp/$
Kimi K3.1 Pro (Max) $2 / $10 $0.20 $1.17 +7.61% 6.5 pp/$
Claude Fable 5.1 (Max) $10 / $50 — $8.07 +13.94% 1.7 pp/$
Claude Opus 5.5 (Max) $4 / $20 — $6.33 +20.77% 3.3 pp/$

Kimi K3.1 Pro 和 GPT-6.1 Sol 的输入/输出单价完全相同（$2/$10），唯一的价差在缓存输入（$0.20 vs $0.10）。

那么同价下 Kimi 单任务花 $1.17、Sol 花 $0.79，只能解释为 Kimi 每任务消耗的 token 多出约 48%（考虑到缓存价差是 Kimi 更高，实际的 token 消耗差距只会更大，或者差距的一部分来自输入侧 token 与缓存命中率）。

这个推断和 AA 的独立测量互相印证：55K 输出 token/task，72% 高于中位数。

再叠一个反直觉的数据点：K3 的单任务成本也是 $1.17，但 K3 的单价是 $3/$15。K3.1 Pro 把单价砍了三分之一，单任务成本却纹丝不动——说明降价换来的收益，全被 token 消耗的增长吃掉了。

这条比"排名差 6pp"重要得多。排名会被样本量、harness、人格这些噪声来回搅动；"同价多烧 48% 的钱"是结构性的，是 RL 训练出来的行为习惯，短期不会自己变。

用户侧的真实体感就是：Kimi 订阅额度消耗极快（社区大量反馈 5 小时额度 30~47 分钟耗尽）、单任务成本高、长程任务容易被撞墙。这和它"Agent 能力强"的事实并不矛盾——它强，但它是那种"要把整件事想透才动手"的强，而这份思考在按任务计费时是要付钱的。

7. 那实际怎么选

把上面所有东西压成可执行的判断：

选 Kimi K3.1 Pro，如果你要的是：
- 多步工具调用、长程工程任务（Terminal-Bench 类），且任务的价值远高于 token 成本
- 金融文档的检索、跨文档核对、多步数值推理（OfficeQA Pro v2 当前最佳 64.4）
- 3D / CAD / 游戏引擎这类需要真写脚本跑起来的活
- 能自托管、数据不出域——11 月 4 日前权重发布，2.8T MoE，104B 激活
- 并且你能接受它比对手贵 48%、且更啰嗦

选 GPT-6.1 Sol (Max)，如果你要的是：
- 每美元能买到多少改进（17.3 pp/$ vs 6.5 pp/$，2.7 倍差距）
- 静态推理与事实准确性优先——HLE 52.9% vs 52%，独立幻觉率 41.5% vs 44%
- 科学计算类任务（Terminal-Bench Science 0.1：58.1% vs 38.1%）
- 极高的调用量，且输出 token 需要受控（32.9K vs Kimi 的显著更高）
- 稳定的低延迟响应（57 tok/s，TTFT 162s @ max 档）

别做的事：
- 别拿 Arena Agent 的单批排名做选型结论——尤其是对新发布 3 天以内的模型
- 别把"Terminal-Bench 领先"理解成"什么场景都领先"——静态推理和科学计算上 Kimi 确实还差着
- 别相信厂商自测的幻觉率对比。Kimi 内部压力测试宣称 23.4% → 8.3%，但 Moonshot 自己注明"该测试刻意构造以诱发错误，不代表日常整体水平"；AA 的独立测试只复现到 53% → 44%

8. 口径红线

这张榜有五条不能越过的线，抄下来用：

  1. 不跨档位比。 同一模型的高/中/低档是三条独立记录，成本可差 3 倍以上。Opus 5.5 从 High 档 +13.82%/$1.58 变成 Max 档 +17.01%/$5.66，这 3.19pp 里有多少是模型、多少是档位，说不清。
  2. 不跨快照做差分。 会话池、模型列表、成本窗口（过去 14 天）全在动。
  3. 不把净改进当通过率。 它是相对基线的偏好合成量，不含客观判定。
  4. 不用成本做精确横向比价。 成本是实测 P50，受 harness、上下文策略、任务分布影响；同一模型在不同 harness 下每任务成本能差数倍。
  5. 先看 CI 宽度再看数值。 尤其是会话数少的条目。

同一模型跨批次的位置变化比单批次的名次跳动更有信息量——但反过来，单批次的名次跳动几乎不能当信号。K3 那个 8,344 → 138,654 的案例说明，一次名次跃升可能纯粹是样本偏差。

9. 待验证

  • ☐ Arena Agent 榜 K3.1 Pro 评测场次破 3 万时，净改进是否守住 +7.6% 以上（预计 10 月底前会有 2~3 批）
  • ☐ 11 月 4 日权重发布后的独立复测——尤其是自托管场景下 harness 差异会如何重排
  • ☐ K3.1 Pro 是否有低 token 消耗的推理档（当前 API 支持 reasoning_effort: low/high/max，默认 max）——把 max 换成 low 后的单任务成本，可能比换模型的影响更大
  • ☐ Arena 的 "HarnessTax" 方法论是否会出可复现的 harness 归一化分数

10. 数据来源与复现

主要来源

口径与已知限制

  • 本文引用的 Arena 数据来自搜索引擎索引的页面快照与中文镜像页。直连 arena.ai 抓取实时页被反爬拦截，未能取到最新一批评测场次与 CI。请以 lmarena.ai 官方页 为准复核。
  • 同一模型在不同镜像页存在刷新时点差异（例如 Opus 5.5 净改进读到过 20.35% / 20.77% / 20.92% 三个值）。引用时应标明页面与时点，不要跨页做差分。
  • K3.1 Pro 的九项分解指标（确认成功、好评/差评、可控性、Bash 可靠性、工具幻觉等）在本文写作时未能取到完整数值，故第 4 节的归因是基于公开描述 + 独立测量（token 消耗、速度）+ 社区反馈的推断，而非直接观测。后续应补上这组数据再检验。
  • 4,000 场会话下的置信区间宽度为 $1/\sqrt{n}$ 粗估，未考虑分布重尾。
  • Terminal-Bench 4.0 上 Moonshot 自测 65.7% 与 AA 独立测 67.2% 存在差异，二者 harness 不同；跨模型比较应统一采用 AA 一套。

posted on 2026-10-25 21:39  fox_charon  阅读(20)  评论(0)    收藏  举报

导航