RL 训出来的 agent 到底强在哪？把 SFT 的「残局」递给它，答案就露馅了

💡 一句话总结：RL 训练的 agent 成功率飙升，但我们一直没分清它涨在「会走位」（把局面走到容易赢）还是「会收尾」（给定局面赢下来）。这篇论文的 Handoff 协议把一个模型走到的状态直接交给另一个模型续打，两次实验就拆穿了归因——而且发现一个微妙事实：RL 学到的历史轨迹，只对 RL 自己最值钱。

导语：agent 评测里藏着一个「自导自演」的漏洞

用 RL 训练长程 agent（操作浏览器、玩家居环境、执行多步任务）是现在的大热门，成功率动辄翻倍。但闭环环境有个容易忽略的特性：agent 遇到的每个状态，很大程度上是它自己之前的行为造成的。

于是端点成功率成了一个混合指标：它既可能说明「这个 agent 更会把局面引向容易赢的方向」，也可能说明「同样困难的局面它收尾更稳」——甚至两者兼有但比例未知。想只比较「双方都到达的状态」来排除干扰？论文证明这不行：那是在按结果筛选样本，在他们的数据里甚至会把效应的方向都翻转。

拿围棋打比方：一个棋手胜率高，可能因为布局总能进入自己擅长的局面，也可能因为官子阶段收得稳。不分开测，你就不知道该夸他的布局还是该学他的官子。

想看原文？

• 📄 论文：arXiv 2609.19636

它的思路是什么？

• 🤝 Checkpoint Handoff（状态交接）：让 checkpoint A 正常行动，把它到达的、经环境确认「距成功只剩固定步数」的状态原样克隆给 checkpoint B 续打——全程不重训、不改环境
• 🎭 角色交叉归因：把「到达者（reacher）」和「收尾者（solver）」两个角色在 SFT/RL checkpoint 之间两两交叉，端点增益被干净地拆成 Reach 和 Solve 两项
• 🔁 历史移植实验：更进一步——把 RL agent 的行动历史给 SFT agent 参考，反之亦然，测「轨迹经验」的转移价值

效果到底怎么样？

• 📊 五条件交互全为正：两个基准、两条独立训练管线上，「RL 到达者 + RL 收尾者」的组合增益始终超过各自贡献之和——RL 的两项能力是互相成就的
• 🎯 ALFWorld 数字最直观：RL 到达「两步之遥必胜局面」的比例 82.5%，SFT 只有 13.3%；而把双方放到完全相同的克隆状态里，RL solver 完成 95.7%、SFT solver 只有 56.5%——两项能力 RL 都真涨了
• 🔑 最微妙的发现：同一段 RL 历史，给 RL solver 用价值 38.9%，给 SFT solver 只值 29.4%——RL 学到的轨迹经验对自己的「后辈」最值钱，SFT 模型消化不了

为什么你要关心？

• 📋 agent 论文的评测该加两列了：除了端点成功率，报告 Reach 和 Solve——成本极低（只需历史可重放），信息量翻倍
• 🔍 「RL 增益」的归因陷阱：如果你的 RL agent 提升明显，先用手交协议拆一下——涨的如果是 Reach，说明它学会了「避开坏局面」，那对环境分布变化的鲁棒性就要单独担心
• 🧠 轨迹经验的粘性：RL 模型与自己的轨迹历史高度耦合——这对做 agent 记忆、经验回放产品的团队是个直接的设计信号

理性看待

冷静看三点：两基准两管线的外推范围有限；状态克隆依赖环境的可重放性（高度随机的环境会打折扣）；协议测的是「距成功固定步数」的状态，更早程的布局能力未覆盖。但它把 agent 评测里最大的混淆变量第一次变成了可测量项——方法论贡献已经足够。