模型自己组队教自己：Sakana AI 的 MASS，把多智能体团队的"集体经验"蒸馏回了一个模型

💡 一句话总结：Sakana AI 发布的 MASS 让同一个模型同时扮演执行者、流程优化者和评委——先用评估反馈把"多智能体团队怎么协作"的工作流搜到最优，再把冠军团队的作业轨迹蒸馏回模型权重，循环两轮后研究型基准的"每 token 得分"达到基线的 1.2–1.6 倍，训练 token 还省了 31%。做 Agent 系统和自改进训练的同学，这篇里有两个能直接抄的工程模式。

资源在这，先收藏

想自己动手或者深挖的，入口都在这：

• 📄 项目主页（全文）：Sakana AI · MASS
• 🧭 合作者的深度解读：Recursive Harness Self-Improvement

一个不太舒服的问题：教练没了，怎么变强？

搞训练的同学都习惯了一套流程：模型输出、人或者验证器打分、按分更新。RLHF 也好、可验证奖励也好，背后都站着一个比模型更强的监督者——人类专家、单元测试、形式化验证器。

但把镜头推到前沿：模型要做的是人类也没做过的发现，评估一个候选成果可能要稀缺专家、昂贵实验，或者等几个月的验证周期。这时候监督者是缺位的，用论文的话说，模型自己反而成了"最可用的评估者"。

那问题来了：自己给自己打分，分数从哪来才可信？ 单模型自评既当运动员又当裁判，早就被证明有自我偏好问题。

Sakana AI 的答案有点意思：别让模型一个人自嗨，让它组个团队。

思路：把"团队怎么干活"写成文本，让模型自己搜

人类社会的进步很大程度靠分工协作，而且协作的经验会沉淀下来传给新人。MASS（Multi-Agent Self-Supervision）把这个模式搬进了模型训练，整个系统里自始至终只有同一个模型（实验用的是 Qwen3.6-27B），但它分饰三个角色：

• 执行者：orchestrator 带着一群 subagent 干活，产出包含代码、图表、研究报告的完整工作空间；
• 优化者：不干活，专门改"团队怎么协作"的流程文档；
• 评估者：两个工作空间摆面前，判断哪个更好完成任务，并给出理由。

关键设计是"流程"的表示。MASS 把多智能体工作流拆成四个组件：Role（每个子代理负责什么）、Instruction（具体干什么）、Contract（必须交回什么、要带哪些检查）、Hop（调用顺序，含回跳）。整份流程就是挂在任务 prompt 里的文本——模型可读、可改，于是"找更好的协作方式"就变成了文本空间搜索。

内环的循环很简单：按候选流程干活 → 评委对比冠军产出打分 → 优化者根据评委解释改流程，赢了就换冠军。

举个论文里的真实例子。进化出来的金融工作流里，数据专员的输出契约要求显式报告三个布尔值：无未来数据泄漏、训练集早于验证集、验证集早于测试集。做过量化回测的同学看到这里会心一笑——回测要"作弊"太容易了，让历史决策偷看未来数据，曲线立刻漂亮得不像话。这个契约就是逼着数据专员自证清白，并且告诉下游代理：往下走之前，这些证据你必须拿到。

注意这里的门道：任务的关键信息不在"你是个严谨的数据科学家"这种角色描述里，而在"代理之间必须交接什么证据"里。

外环：把冠军团队的作业抄进权重

内环搜出好流程只是第一步——流程再好，它也只是 prompt 里的文本，模型权重没变。MASS 的外环负责"抄作业"：

1. 让冠军工作流带着团队跑 18 个随机种子（长程任务方差大，单次成绩不可信）；
2. 模型自己给 18 份产出做成对比较，用 Bradley–Terry 模型换算成分数排名；
3. 留下最好的 16 条完整轨迹（15 条训练 + 1 条验证）；
4. 把工作流文本从 orchestrator 的 prompt 里删掉，再用 LoRA 把这些轨迹蒸馏进权重。

第 4 步是我觉得最聪明的一笔。如果训练时保留工作流，模型学会的可能只是"背诵这份模板"；删掉之后，模型必须从任务本身重新领悟该怎么组织协作——组织经验才真正写进了权重。

然后，升级后的模型回到三个角色重新开始，进入第二轮。这就是"递归自我改进"的闭环：模型既是被改进的对象，也是改进的工具和标尺。

效果到底怎么样？

先看主结果。三个从未参与训练的测试任务上，模型产出对外部裁判的胜率：第一轮 53.9%，第二轮 69.9%；第二轮打第一轮也赢了 60.8%。改进没有停在训练任务上。

公开基准上，衡量"每输出 token 换来多少分"的效率指标（越高越好，相当于性价比），两轮后达到基线的：MLR-Bench 1.60 倍、DSBench 1.35 倍、AstaBench 1.28 倍、ScienceAgentBench 1.20 倍。

但请注意图右下角：Terminal-Bench 2.0 只有 0.96 倍、SWE-bench Verified 只有 0.94 倍——软件工程任务上是负迁移。这个我们后面泼冷水时再聊。

更有意思的是"角色泛化"：只训练任务求解的轨迹，优化者和评估者也跟着变强了。下一代模型能更早搜出成功的工作流；评估者与外部裁判的判断一致率从 73% 涨到 93%。最硬的证据是一个迁移实验：把第一代搜出的工作流交给没升级的基线模型执行，胜率 64%，高于基线自己搜的流程——优化者的进步是真的，不是幻觉。

三个值得细品的发现

发现一：好流程把信息写进契约，而不是角色。 论文对工作流各组件和任务描述做了互信息分析：搜索迭代中，Role 和 Instruction 里的任务信息量在降，Contract 和 Hop 里的在涨。也就是说，LLM 优化者自发把流程进化成了"组件互相独立、信息集中在交接契约上"的形态。作者管这叫在 harness 空间里发现基向量——我更愿意说：好的多智能体架构，本质是设计好代理之间的接口，而不是给每个代理写漂亮的人设。

发现二：团队轨迹是更稠密的训练数据。 同一个底座，分别用单智能体轨迹和多智能体轨迹训学生模型：多智能体学生 M+ 处理 28.8M 监督 token 就达到 68.3% 胜率，单智能体学生 S++ 烧了 42M token 才 64.0%——少 31% 的训练 token，成绩反而更高。外部裁判也在 85.1% 的对比中更偏好多智能体产出。orchestrator 的对话教"怎么拆任务"，subagent 的对话教"怎么完成单项"——一份团队轨迹，两课都教了。

发现三：RSI 的瓶颈可能是优化者，不是评估者。 消融实验里，保持基线模型当执行者，只把评估者换成 GPT-5.5，帮助有限；把优化者也换成 GPT-5.5，5 轮内 12 个任务全部搜出能打的流程（纯同构循环慢一些，13 轮也做到了 11/12）。解读很直白：强评委给的高质量反馈，弱流程设计师消化不了。预算有限时，把钱花在"改流程"的位置上更值。

顺带一个工程向提醒：文本空间搜索的曲线非常吵，强迭代后面常常紧跟大幅回退。作者说文本优化器需要类似学习率调度器的稳定机制——做自动 prompt 优化的同学应该深有同感。

泼冷水：这几处要打问号

数字讲完了，按惯例泼点冷水，这几个地方建议打折听：

• 规模真的很小。12 个合成任务、3 个测试任务（每域只有 1 个）、单一 27B 底座、只跑了两轮。69.9% 对 53.9% 的差距，落在这点样本上，置信区间不会太好看。任务描述还是 GPT-5.5 预生成的，任务风格本身可能带着 LLM 的先验。
• 裁判还是模型。虽然 GPT-5.5 和 Claude Opus 4.8 两个外部裁判被隔离在训练回路外，但"哪份工作空间更好"终究是模型打分，没有人类专家验证。在一个"声称不可验证任务取得进展"的工作里，用另一个模型的判断背书，方法论上有循环的味道——作者自己也承认裁判正确性未知。
• 工程任务负迁移。SWE-bench 0.94 倍、Terminal-Bench 0.96 倍说明学到的东西偏"研究报告的组织习惯"，不是通用能力提升。作者猜往训练数据里加软件工程任务能修，但没验证。
• 训练成本没报总账。18 种子 × 多轮迭代 × 排名评估，搜索侧的 token 消耗未披露，论文只报了下游的"每 token 得分"。这笔账不透明，性价比 claim 要留个心眼。

还有一种更保守的解读值得放在脑子里：收益会不会主要来自"契约检查 + 审计代理"这种 scaffold 本身带来的质量提升，蒸馏只是把好习惯写进了权重？这个解释和主结论并不冲突，但它提醒我们："集体智能"的叙事和"学到验证习惯"的机制之间，还有距离。

理性看待：跟你我有什么关系

抛开 RSI 的宏大叙事，这篇文章里有两个模式明天就能搬进你自己的 Agent 系统：

• 契约式工作流：让代理之间交接"必须建立的证据"（带布尔检查的结构化交付物），而不是靠角色描述和人设 prompt。金融例子里那个防未来函数泄漏的契约，就是最好的模板。
• 自评造数据配方：多次采样 → 自我成对排名 → 取 top-k 蒸馏。只要任务产出有可比性，这就是一套不需要人工标注的高质量 SFT 数据生产线。论文同时提醒：想让这套配方更强，把强模型放在"改流程"的位置比放在"打分"的位置更划算。

再往远看一层是安全问题，论文结尾这段写得相当坦诚：同构循环里，评估和改进共用同一个模型，模型的共享盲区既是行为的弱点，也是纠错机制的弱点——一个有缺陷的结果可能被自评接受、写进下一代权重，而人类同样察觉不到。作者称之为 RSI 的阿喀琉斯之踵。这和最近各家 lab 密集发布的失对齐报告、以及"监控要看过程而不只看产出"的呼声，其实是同一个主题：当我们越来越依赖系统自己的判断时，保留独立的、可纠错的检查通道，比任何时候都重要。

至于"AI 自己教自己"这件事本身——MASS 给出的不是"模型已经能自我改进"的证明，而是一个更务实的中间答案：在强监督者缺位的地方，团队协作的经验分布，可以充当一个足够好的老师。至于这位老师会不会教出盲区，就是接下来几年最重要的开放问题了。