同一套权重，换个「壳」分数差 29 个点：评测分数里有多少是壳给的

最近看到 Hugging Face 上一份关于「多 harness 强化学习」的指南，里面有一个数字让我愣了好一会儿：同一套权重、同一批任务，只是换了一个外面包着的工具，解题率从 62.1% 掉到了 33.2%。

差了 29 个百分点，模型本身一行都没动。

先说清楚这里的「harness」是什么意思。我们平时用的 Claude Code、Codex、OpenCode 这类编码工具，本质上都是一层「壳」：它决定模型能调用哪些工具、工具叫什么名字、上下文怎么组织、每一步的控制流怎么走。模型在里面干活，壳决定了它面对的是什么样的问题。

这个数字是怎么来的

Hugging Face 做了一层「捕获代理」（capture proxy，10 月 5 日公布），作用是把 Claude Code、Codex、OpenCode、Pi 这些真实的编码工具原封不动地变成强化学习环境。代理支持 4 种协议：OpenAI Chat Completions、OpenAI Responses、Anthropic Messages、Gemini generateContent。它把请求转发给 vLLM，同时记录精确的 token ID 和 logprobs，再交给 TRL 去做异步 GRPO 训练。

每个任务分三段：instruction（指令）、setup（准备环境）、verify（检查结果）。其中 verify 这一步 agent 是看不到的，它只能把活干完，由外部来判断对不对。

在这套环境里，他们拿 Liquid AI 的小模型 LFM2.5-2.6B 做实验。在 250 条 held-out 任务上：

• 放在 Mini-SWE-Agent 里，解出 62.1%；
• 同一套权重、同一批任务，放进 Claude Code，只剩 33.2%。

这里要强调一下：这不是两个模型在比高低，也不是「哪个工具更好」的排名。它说明的是，同一个模型，换一个壳，就是在解一道不同的题。

训练时换壳，结果更有意思

既然壳的影响这么大，那训练的时候怎么办？指南里做了几组对照，我觉得每一组都值得记下来。

第一组：只在一个壳里练。 只在 OpenCode 里做强化学习，OpenCode 下的成绩从 34% 涨到 58%，但这个提升跨环境几乎不迁移。换句话说，模型学会的是「怎么在 OpenCode 里干活」，而不是「怎么写代码」。

第二组：四个壳一起练。 同时在 4 个 harness 里训练，平均成绩从 42.2% 涨到 54.2%，其中 Claude Code 从 33% 涨到 49%。关键是四个方向一起涨，没有出现此消彼长。

第三组：照抄更强的模型。 用 Qwen3.8-27B 蒸馏了 3,189 条 rollout 做 SFT（监督微调），成绩卡在 47.5%，低于两次 RL 的结果。也就是说，模仿一个更强的模型，不如自己在真实环境里按结果去学。

还有一个小彩蛋： 在奖励里加一项「少用工具调用」，调用次数下降了 31%，在 Codex 下大约下降 50%。

另一侧的佐证：省 token 不等于省时间

同一周还有一篇 UT Austin 的论文（arXiv 2609.32961），从「上下文压缩」那一侧给出了相似的结论。在 Terminal-Bench 加 Qwen 的设置下，只用约三分之一 token 的压缩策略，反而比不压缩慢了 20% 到 80%。而同一个策略（OTRC），在 Qwen 上是 51.3%，换到 Devstral 上掉到 38.7%，而且更慢。

两篇放在一起看，指向的是同一件事：分数不只属于模型，也属于模型所处的配置。 壳、压缩策略、触发方式，这些「外围」的东西，都能把分数拉开一大截，而且不能跨模型、跨环境照搬。

作者自己说的局限

这份指南对局限写得很坦白，只有一句：单一任务族、单一 seed。这确实意味着具体数字不能随便外推。但 29 个百分点的差距摆在那里，「壳会显著影响分数」这个结论本身，已经很难被推翻了。

另外有一点我自己读的时候也差点混淆：训练用的 harness 和评测用的 harness 是两回事。 62.1% 对 33.2% 讲的是评测时换壳；「四个壳一起练」讲的是训练时换壳。前者告诉你分数里有多少是壳给的，后者告诉你怎么让模型不被一个壳绑死。

对我自己的启发

我平时用 AI 写代码、做网站，看各种模型榜单时很容易只看那一个数字。读完这篇，我给自己定了两条：

• 看任何编码 agent 的分数，先问一句「在哪个壳里测的」。同一个模型在不同工具里表现可以差很多，别把工具差异当成模型差异；
• 自己选工具时，与其纠结「哪个模型最强」，不如在自己真正用的那个工具里实际跑几个任务。最终干活的，是「模型加壳」这个整体。

评测分数里有多少是壳给的？至少在这个实验里，答案是：很多。

写在最后

本文信息来源：

• Hugging Face 指南 multi-harness-rl（huggingface.co/spaces/AdithyaSK/multi-harness-rl，2026-09-24 发布、10-01 更新；capture proxy 于 2026-10-05 公布）
• UT Austin 论文《Beyond Token Savings: A Systematic Study of Context Compression in LLM Agents》，arXiv 2609.32961
• 线索来自 AINews 2026-10-06 期