Predict Before You Modify: Learning Improvement Dynamics for Self-Evolving Agents

论文阅读：Predict Before You Modify——让自进化 Agent 在修改自己之前先预测修改后果

论文标题：Predict Before You Modify: Learning Improvement Dynamics for Self-Evolving Agents
作者：Zixuan Xie, Chang Xu, Yuhua Jiang, Li Zhao
作者机构：University of Virginia；Microsoft Research；Tsinghua University；Microsoft Research
通讯作者：Chang Xu, Li Zhao
发表状态：arXiv preprint，截至 2026 年 11 月 5 日暂未检索到正式会议或期刊录用信息
arXiv 编号：2610.13991
当前版本：v2，2026-10-15
原文链接：https://arxiv.org/abs/2610.13991
论文 PDF：https://arxiv.org/pdf/2610.13991
主题：Self-Evolving Agent、HyperAgents、Agent 自修改、预测式自进化、Improvement Dynamics Model
核心问题：现有自进化 Agent 往往只有在真正修改并完成昂贵评测之后，才知道这次修改到底有没有用；本文希望让系统在评测之前先预测修改的后果，并利用预测结果决定是否应该再修改一次。

1. 论文想解决什么问题？

这篇论文建立在 HyperAgents 之上。

如果已经熟悉 HyperAgents，可以先把它的基本循环简化成：

  1. 从历史 archive 中选出一个 Parent Hyperagent；
  2. Parent 中的 Meta Agent 查看历史经验；
  3. Meta Agent 提出一份代码修改 diff；
  4. 应用这份修改，得到新的 Child Hyperagent；
  5. 真正运行 benchmark，对 Child 进行评测；
  6. 将 Child 及其分数加入 archive；
  7. 继续下一轮进化。

HyperAgents 的重要特点是：

  • Task Agent 可以进化；
  • 负责修改 Agent 的 Meta Agent 自己也可以进化；
  • 因此不仅“解决任务的方法”可以改变，“如何改进 Agent”这件事本身也可以改变。

但是这里仍然存在一个问题：

Meta Agent 提出一次修改以后，在真正评测之前，并不知道这个修改到底会造成什么后果。

也就是说，原来的流程更接近：

修改 → 运行 → 评测 → 才知道改得好不好。

如果一次完整评测很昂贵，那么大量明显不好的修改也必须先真正运行一次，才能发现问题。

论文认为这里还有第二个问题：

单一的 aggregate score 会压缩掉很多对“如何修复”非常重要的信息。

例如在代码任务中：

  • Agent 给出了代码，但答案错误；
  • Agent 运行到一半超时；
  • Agent 最后根本没有生成 patch；

它们最后可能都得到 0 分。

但是这三种失败需要的修复策略显然完全不同。

因此，作者提出：

与其等评测结束以后才知道发生了什么，不如先建立一个模型，预测“如果应用这个修改，每一道任务可能会发生什么”。

这就是本文的核心组件：

Improvement Dynamics Model，简称 IDM。

2. 核心思想：Predict Before You Modify

整篇论文最直观的思想其实可以概括成一句话：

Meta Agent 先提出修改，IDM 先预测修改后果；如果预测结果不好，就让 Meta Agent 在真正评测之前再修改一次。

因此原来的 HyperAgents：

Meta Agent → 修改 → Evaluation

变成了：

Meta Agent → Draft 修改 → IDM 预测 → 必要时 Revision → Evaluation

但是论文并不只是加了一个固定的 Critic。

更重要的是：

IDM 自己也是一个可以被修改和进化的程序。

随着系统不断产生：

  • 修改了什么；
  • IDM 当时预测会发生什么；
  • 最后实际发生了什么；

这些记录会逐渐积累。

Meta Agent 会利用这些历史预测误差，修改 IDM 的：

  • forecasting code；
  • instructions。

因此系统中实际上存在三类不断变化的东西：

组件 负责什么 是否进化
Task Agent 真正执行目标任务 是
Meta Agent 修改 Task Agent 和 Meta Agent 本身 是
IDM 预测一次修改会造成什么后果 是

需要特别注意：

IDM 的底层 LLM 权重并不会训练。

论文中所有底层 LLM 的参数在整个进化过程中都保持冻结。

所谓“IDM evolution”，修改的是围绕 LLM 的：

  • 程序代码；
  • forecasting logic；
  • instructions。

因此本文仍然属于 program-level / harness-level self-evolution，而不是对模型权重进行 RL 或 fine-tuning。

3. Predictive Self-Evolution

论文第 3 节正式介绍整个方法。

image

【Figure 2，展示 IDM-guided Hyperagent evolution 与 Evolving the IDM 两层循环】

Figure 2 非常重要，因为整个系统实际上包含两个嵌套但相对独立的循环：

  • 上半部分：IDM 如何帮助 Hyperagent 进化；
  • 下半部分：IDM 自己如何进化。

下面分别来看。

3.1 HyperAgents 原本的 archive-based evolution

首先定义一个 Hyperagent \(h\)。

每个 Hyperagent 中包含：

  • Task Agent；
  • Meta Agent。

对于某个目标领域 \(d\)，有任务集合 \(\mathcal{T}_d\)。

Agent \(h\) 在任务 \(\tau\) 上得到的分数记为：

\(s_\tau(h)\)。

整体 evaluation score 定义为所有任务分数的平均值：

\[y(h) = \frac{1}{|\mathcal{T}_d|} \sum_{\tau \in \mathcal{T}_d} s_\tau(h) \]

在第 \(t\) 代，系统维护一个 archive：

\(\mathcal{A}_t\)。

其中保存：

  • 之前产生过的 Hyperagent；
  • 每个 Hyperagent 的 evaluation score；
  • parent-child 关系。

系统按照 HyperAgents 原本的 parent selection rule，从 archive 中选择一个 Parent Hyperagent：

\(h_{p_t}\)。

随后 Parent 中的 Meta Agent 根据：

  • 当前代码；
  • archive；
  • 历史评测；

提出一个修改：

\(\delta_t\)。

把 \(\delta_t\) 应用到 Parent 上，就得到新的 Child Hyperagent。

HyperAgents 会直接评测这个 Child。

本文的修改发生在：

Meta Agent 已经提出 \(\delta_t\)，但真正 Evaluation 尚未发生的这个时间点。

3.2 Improvement Dynamics Model：预测一次修改的后果

作者加入一个 IDM：

\(I\)。

IDM 本质上是一个：

可编辑的程序，它调用一个冻结的 LLM，预测 proposed modification 对具体任务结果的影响。

在一次预测中，IDM 可以获得：

  • 当前 archive \(\mathcal{A}_t\)；
  • 被选中的 Parent \(h_{p_t}\)；
  • Parent 已经观察到的 task-level outcomes；
  • Meta Agent 当前提出的代码修改 \(\delta\)。

因此 IDM 的预测可以写成：

\[f_t(I,\delta) = I(\mathcal{A}_t,h_{p_t},o(h_{p_t}),\delta) \]

其中：

\(o(h_{p_t})\)

表示 Parent 在各个任务上的具体结果。

这里最关键的一点是：

IDM 不是只预测“这个 Agent 最终大概多少分”，而是预测 task-level outcome。

3.2.1 为什么必须预测 task-level outcome？

假设代码 benchmark 有十道题。

Meta Agent 修改了一段代码。

一个只预测 aggregate score 的模型可能告诉 Meta Agent：

修改之后预计得分 0.3。

但这并不能很好地告诉 Meta Agent：

到底哪里会出问题？

IDM 则会尝试预测每个具体任务可能发生什么。

例如：

Task 预测结果
Task 1 80% resolved
Task 2 70% unresolved
Task 3 60% incomplete
Task 4 90% empty patch

于是 Meta Agent 可以发现：

当前问题可能不是“推理能力不够”，而是某些修改让 Agent 更容易提前终止，或者无法产生 patch。

这种信息比一个简单的总分更加适合用来进行 revision。

3.2.2 不同任务中的预测对象

论文没有强行让所有领域使用相同的 outcome schema，而是根据领域定义不同的预测目标。

Coding

IDM 对每个任务预测下面四种结果的概率：

Outcome 含义
resolved 生成 patch，并通过 benchmark tests
unresolved 生成 patch，但没有通过测试
incomplete Agent 没有完成运行
empty patch Agent 完成运行，但没有产生 patch

其中：

predicted task score = resolved 的概率。

Paper Review / Mathematical Grading

预测：

Outcome 含义
correct 给出正确判断
incorrect 输出格式有效，但判断错误
invalid 输出缺失或不可用

这里 predicted task score 就是：

correct 的概率。

Robotics Reward Design

机器人任务不是简单的分类问题。

IDM 会预测两个量：

  • \(p_{\mathrm{invalid}}\)：生成的 reward function 不可用的概率；
  • \(m\)：在 reward function 有效的情况下，预计能够取得的 fitness。

因此预测 trial score 为：

\[(1-p_{\mathrm{invalid}})m \]

所以虽然不同领域的 prediction target 不一样，但最终都可以转换成一个 predicted task score。

3.3 从 task-level prediction 得到 predicted agent score

对于任务 \(\tau\)，设 IDM 得到的 expected task score 为：

\(\hat{s}_{t,\tau}(I,\delta)\)。

那么 proposed Child 的整体预测分数就是：

\[\hat{y}_t = \frac{1}{|\mathcal{T}_d|} \sum_{\tau \in \mathcal{T}_d} \hat{s}_{t,\tau}(I,\delta) \]

这里出现了两个不同层次的信息：

Task-level forecast

告诉 Meta Agent：

哪些任务可能出什么问题。

主要用于指导 revision。

Predicted aggregate score

告诉系统：

这次修改整体看起来是否值得重新修改一次。

主要用于决定：

要不要触发 Revision。

3.4 Selective Revision：不是所有修改都反思

本文没有简单采用：

每一次修改都再让 Meta Agent Reflection 一遍。

作者认为这种做法会产生大量额外 token 成本。

因此提出 Selective IDM：

只有 IDM 判断当前修改可能比 Parent 更差时，才额外给 Meta Agent 一次 revision 机会。

流程如下。

首先 Meta Agent 生成：

\(\delta_t^{\mathrm{draft}}\)。

IDM 对它进行预测。

但是 IDM 自己可能存在系统性的高估或低估，因此作者维护一个在线 bias calibration：

\(b\)。

Revision rule 为：

\[\hat{y}_t \left(I,h_{p_t}^{\delta_t^{\mathrm{draft}}}\right) - b < y(h_{p_t}) \]

直观理解就是：

如果经过 bias correction 之后，IDM 仍然认为这个修改出来的新 Agent 会比 Parent 更差，那么就要求 Meta Agent 再修改一次。

3.4.1 如果触发 revision，会发生什么？

Meta Agent 会继续当前 session。

它已经知道：

  • 自己刚才提出的 draft；
  • 之前的交互历史；
  • IDM 的 task-level forecast。

论文特别要求 Meta Agent 把 IDM prediction 当作：

一种 hypothesis，而不是真实 evaluation feedback。

因为此时 Child 根本还没有真正执行 benchmark。

Meta Agent 根据预测重新检查当前修改，产生：

\(\delta_t\)。

也就是 revised diff。

3.4.2 最多只允许 revision 一次

为了控制计算量，论文规定：

每代最多额外 revision 一次。

也就是说不会形成：

预测 → 修改 → 预测 → 修改 → 预测 → 修改 → ……

这样的无限 Reflection loop。

如果发生了 revision，IDM 会再预测一次最终 diff。

这样最终保存的 forecast 一定对应：

真正即将接受 Evaluation 的那份修改。

3.4.3 IDM 并不是一个拒绝采样器

这里还有一个容易误解的地方。

即使最终 IDM 仍然预测：

这个 Child 很差。

系统也不会直接丢弃 Child。

论文明确规定：

最终修改无论预测分数多少，都仍然要真正进行 Evaluation。

因此 IDM 当前的作用是：

revision guidance

而不是：

根据预测直接代替真实 evaluator，过滤掉所有候选 Agent。

真实 evaluation 仍然是整个进化 loop 的最终反馈来源。

3.5 每一代会保存什么？

最终 diff \(\delta_t\) 确定后，系统会在 Evaluation 之前保存 IDM forecast。

然后执行真实 Evaluation，得到 Child 的实际结果。

最终形成一条记录：

\[z_t = \left( \mathcal{A}_t, h_{p_t}, o(h_{p_t}), \delta_t, f_t(I,\delta_t), o(h_{t+1}) \right) \]

其中同时包含：

  • 修改之前 IDM 能看到的上下文；
  • Parent；
  • Parent 的历史表现；
  • 最终修改；
  • IDM 当时的预测；
  • Child 最终真实结果。

因此随着进化不断运行，系统会积累大量：

“我做了什么修改 → 我当时预测会怎样 → 最后实际上怎样”

的数据。

这些记录就是 IDM 自己进化的基础。

3.6 IDM 自己如何进化？

这是本文与“加一个固定 Predictor”最大的区别。

IDM 自己也是可修改的。

但作者没有让 IDM 和 Task Agent、Meta Agent 使用完全相同的更新逻辑。

原因很简单：

Task Agent 和 Meta Agent 最终优化的是：

benchmark performance。

但是 IDM 优化的是：

prediction quality。

两者目标并不一样。

因此论文设计了一套 独立的 IDM evolution + validation 流程。

3.6.1 每 5 代尝试更新一次 IDM

理论方法中写作每 \(K\) 代更新一次。

实验设置中：

\[K=5 \]

也就是说：

每运行 5 代 Hyperagent evolution，Meta Agent 尝试提出一个新的 Candidate IDM。

此时 Meta Agent 会开启一个新的 session。

它获得：

  • 当前 IDM；
  • 历史修改；
  • 历史 IDM forecast；
  • 实际 observed outcomes；
  • prediction-error report。

然后允许 Meta Agent 修改：

  • IDM forecasting code；
  • IDM instructions。

而其他文件的修改都会被丢弃。

因此这个阶段的优化对象非常明确：

只修改 IDM。

3.6.2 Candidate IDM 不能立即上线

一个非常重要的设计是：

Candidate IDM 生成以后，不会立即替换当前 IDM。

当前 IDM 继续服务接下来 \(K\) 代。

也就是说：

Candidate IDM 在第 5 代被提出，但第 6～10 代仍然使用 Current IDM 进行实际决策。

这 5 代会产生新的真实 modification records。

等这些结果全部收集完成以后：

  • Current IDM；
  • Candidate IDM；

再同时面对这批新的 modification。

Candidate IDM 只能使用当时真正可获得的：

  • pre-evaluation context；
  • final diff。

不能看到：

  • 后续 archive 更新；
  • Child 的真实 outcome。

因此这是一次真正意义上的：

out-of-sample prospective validation。

它避免了一个非常明显的问题：

如果 Candidate IDM 直接在用于修改自己的历史数据上验证，那么 Meta Agent 完全可能只是把历史结果记住，而没有真正获得更好的预测能力。

3.7 Candidate IDM 怎样才能正式替换 Current IDM？

作者设置了两层条件。

3.7.1 第一层：Task-level prediction loss 必须下降

对于分类预测，作者使用 multiclass Brier loss。

如果：

  • \(p_c\) 表示预测 outcome \(c\) 的概率；
  • \(c^*\) 表示实际发生的 outcome；

那么：

\[\ell_{\mathrm{Brier}} = \sum_{c \in \mathcal{C}_d} \left( p_c-\mathbf{1}\{c=c^*\} \right)^2 \]

简单理解：

预测概率越接近真实结果，Brier loss 越低。

Robotics 使用由：

  • invalid probability error；
  • fitness prediction error；

组成的 squared-error loss。

3.7.2 第二层：决定 Revision 的总分预测不能变差

仅仅 task-level probability 更准还不够。

因为 IDM 还有一个非常关键的用途：

决定当前 draft 是否应该 revision。

因此作者额外计算 Centered Mean Squared Error，CMSE。

先定义 predicted score 与真实 score 的误差：

\(e_j(I)\)。

在一个 validation block 中计算 mean bias：

\(b_k(I)\)。

然后：

\[\mathrm{CMSE}_k(I) = \frac{1}{K} \sum_{j\in V_k} \left( e_j(I)-b_k(I) \right)^2 \]

这里把平均 bias 去掉以后，再衡量预测误差。

最终 Candidate IDM 只有同时满足：

  1. aggregate task-level prediction loss 下降；
  2. CMSE 不增加；

才会替换 Current IDM。

否则：

Current IDM 继续使用。

3.8 所以整套系统到底有几条“进化线”？

现在可以把论文的系统重新整理成三条线。

第一条：Task Agent Evolution

目标：

更好地解决 benchmark task。

反馈：

task evaluation。

第二条：Meta Agent Evolution

目标：

更好地提出未来 Agent 修改。

反馈同样来自：

Agent 的 benchmark performance 和历史 archive。

这部分继承 HyperAgents。

第三条：IDM Evolution

目标：

更准确地预测一次 modification 的后果。

反馈来自：

predicted outcomes 与 observed outcomes 之间的误差。

而且 IDM 有自己独立的：

  • update schedule；
  • validation block；
  • promotion criterion。

所以本文并不是单纯把一个新模块塞进 HyperAgents，然后所有东西继续共用同一种更新方式。

相反：

作者把“如何预测修改后果”单独定义成了一个新的可进化能力，并为它设计了一套独立的更新和验证流程。

4. 实验设置

作者沿用 HyperAgents 的四类任务。

Domain Evolution / Train Validation Held-out Evolution score
Polyglot Coding 60 - 166 Resolve rate
Paper Review 100 100 - Validation accuracy
Robotics Reward Design 6 trials - - Training fitness
Mathematical Grading 100 100 100 Validation accuracy

其中：

  • Coding 独立进行 evolution；
  • Paper Review 和 Robotics 联合进行 evolution；
  • Mathematical Grading 用于测试 IDM 的跨领域迁移。

每个实验设置：

  • 运行 5 个完整 runs；
  • 每个 run 进行 40 generations；
  • 不同方法使用相同的初始 Hyperagent；
  • 使用相同 task split；
  • 使用相同 parent-selection rule；
  • 使用相同 evaluator。

4.1 使用的 LLM

底层 LLM 权重在 evolution 中全部保持冻结。

Setting Task Agent Meta Agent / IDM
Polyglot Coding o3-mini Claude Sonnet 4.6
Paper Review GPT-4o GPT-5.4
Robotics GPT-5.4 GPT-5.4
Mathematical Grading GPT-4o GPT-5.4

因此这篇论文研究的并不是：

“训练一个越来越强的 LLM”。

而是：

在固定 foundation model 的情况下，让围绕模型的 Agent program、Meta Agent program 和 predictive program 自我进化。

4.2 Baseline 与 Ablation

Coding 中作者设计了几个非常重要的对照组：

Method IDM Feedback Revision IDM 是否更新
HyperAgents 无 不进行额外 revision -
Reflective HyperAgents 无 每次都 revision -
IDM Reflection 有 每次都 revision 是
Frozen Selective IDM 有 IDM 判断后选择性 revision 否
Selective IDM 有 IDM 判断后选择性 revision 是

这个设计可以分别回答三个问题：

  1. 提升是不是单纯因为多了一次 Reflection？
  2. IDM 的 prediction feedback 到底有没有作用？
  3. IDM 自己持续 evolution 到底有没有必要？
  4. Selective revision 是否比每次都 revision 更有效率？

4.3 AUBC：为什么不只比较最后一代？

论文主要使用 AUBC：

Area Under the Budget Curve。

设在第 \(t\) 代结束以后，目前所有 descendant 中最好的 score 为 \(F_t\)。

在 generation budget \(B\) 下：

\[\mathrm{AUBC}(B) = \frac{1}{B} \sum_{t=0}^{B-1} F_t \]

因此 AUBC 不只是问：

第 40 代最后找到了多强的 Agent？

还会考虑：

这个强 Agent 是第 10 代就找到了，还是直到第 40 代才找到？

所以 AUBC 更适合衡量：

self-evolution 的搜索效率。

论文还进行了 matched-token comparison。

这里计算的不只是 Meta Agent 自身消耗的 token，而是包括：

  • Agent evolution；
  • Task evaluation；
  • IDM forecasting；
  • IDM updates；
  • Candidate IDM validation。

因此不能简单靠“多调用几次 LLM”获得不公平优势。

5. 实验结果

5.1 Coding：Selective IDM 明显改善 HyperAgents

在 Polyglot coding 上，40 generations 后：

Method Median AUBC
HyperAgents 0.210
Selective IDM 0.306

提升约：

\[\frac{0.306-0.210}{0.210} \approx 45.7\% \]

也就是摘要中提到的：

最高约 46% 的 average performance over generations 提升。

5.2 控制 token budget 后仍然有效

由于 IDM 本身需要额外调用 LLM，因此只按 generation 比较并不完全公平。

作者进一步给两种方法相同的 token budget。

即便如此：

Selective IDM 的 median AUBC 仍然比 HyperAgents 高 10.9%。

这说明提升并不完全来自：

“Selective IDM 花了更多计算”。

而是在相同资源预算下，把部分 token 用于：

预测 → 有选择地 revision

确实可以提高 evolution efficiency。

5.3 Coding 的提升能否泛化到没参与 evolution 的任务？

作者又选出了：

166 个 held-out coding tasks。

这些任务：

  • 不参与 modification；
  • 不参与 Agent selection。

初始 Agent 的 resolve rate 为：

16.27%。

进化以后：

Method 相对 Initial Agent 的提升
HyperAgents +5.42 percentage points
Selective IDM +13.25 percentage points

因此 IDM 带来的改进并不只是：

对 evolution task 过拟合。

选出来的 Agent 在 held-out coding tasks 上同样更好。

5.4 Paper Review + Robotics 联合进化

作者随后测试一个更复杂的情况：

一个 Hyperagent 同时优化两个性质非常不同的任务。

分别是：

  • Paper Review；
  • Robotics Reward Design。

两个任务对 joint score 的权重相同。

40 generations 的结果如下：

Metric HyperAgents AUBC ×100 Selective IDM AUBC ×100
Paper Review 73.50 77.85
Robotics 76.45 77.35
Joint 73.15 75.99

其中：

  • Paper Review median AUBC 提升 5.9%；
  • Joint median AUBC 提升 3.9%。

Matched-token budget 下三个指标也都保持优势。

这说明 IDM 并不是只能预测：

“代码修改之后测试能不能通过”。

它可以针对不同 evaluation signal 建立不同的 task-level prediction。

5.5 IDM 自己真的在越预测越准吗？

如果论文只是证明：

“加 IDM 以后 Agent 更强了”

其实仍然不能证明：

IDM evolution 本身有效。

因此作者专门评估了 prediction quality。

5.5.1 Candidate IDM vs Current IDM

在 Polyglot 的 5 个 runs 中，作者一共得到 28 次有效 Candidate-vs-Current IDM comparison。

结果：

19 / 28 次 Candidate IDM 的 Brier loss 更低。

这里甚至包括最终没有通过 promotion criterion 的 Candidate。

说明 Meta Agent 根据过去预测误差修改 IDM 后：

确实经常能够产生预测能力更好的 forecasting program。

5.5.2 在固定历史修改上比较不同版本 IDM

作者还固定 generations 1～5 的一些历史 modifications。

然后用进化过程中不同版本的 IDM 去预测这些完全相同的 modification。

这样就排除了：

后期任务本身发生变化导致“预测看起来更准”的可能。

最终部署版本相比 initial IDM：

task-level prediction loss 降低约 8.7%～24.4%。

因此论文的实验确实支持：

IDM 本身在 evolution 中获得了更好的 predictive knowledge。

6. Predictive Knowledge 能不能跨领域迁移？

这是论文一个比较有意思的实验。

作者先让 IDM 在：

  • Paper Review；
  • Robotics；

联合 evolution 中学习。

随后拿这个已经 evolve 过的 IDM 去初始化：

Mathematical Grading。

注意作者只迁移：

IDM。

并没有迁移：

  • Task Agent；
  • Meta Agent。

数学 grading 的 Task Agent 和 Meta Agent 都重新使用相同的初始版本。

作者比较三个条件：

  1. HyperAgents；
  2. Selective IDM：使用新的 initial IDM；
  3. Transferred IDM：使用从 Paper Review + Robotics evolve 出来的 IDM。

6.1 Mathematical Grading 结果

40 generations AUBC

Method AUBC ×100
HyperAgents 50.65
Selective IDM 53.68
Transferred IDM 55.52

Transferred IDM 比新的 Selective IDM：

高约 3.4%。

Matched-token AUBC

Method AUBC ×100
HyperAgents 51.05
Selective IDM 53.56
Transferred IDM 54.81

Transferred IDM 仍然比 Selective IDM：

高约 2.3%。

100 个 Held-out Math Tasks

Method Accuracy
HyperAgents 47%
Selective IDM 51%
Transferred IDM 55%

也就是说：

  • Transferred IDM 比 fresh Selective IDM 高 4 个百分点；
  • 比 HyperAgents 高 8 个百分点。

6.2 到底迁移了什么？

这里并不是迁移：

“如何做机器人任务”或者“如何审论文”。

因为 transferred IDM 的 instruction 没有增加任何 mathematical-grading-specific heuristic。

它迁移的是一种更加一般的：

如何根据 Parent 状态、代码修改以及历史经验，判断这个修改可能造成什么后果。

例如进化后的 IDM 学会了一些更一般的 forecasting rule：

不应该机械复制 Parent 的历史标签，而应该把 Parent 表现看成一个 baseline，再根据本次代码 modification 去调整预测。

作者因此把这种东西称为：

predictive knowledge about improvement dynamics。

也就是说：

Agent 不只是积累“怎样解决任务”的知识，还可以积累“修改 Agent 通常会造成怎样后果”的知识。

7. Ablation：到底是哪部分设计带来了提升？

这一部分对于理解论文非常重要。

7.1 只是多一次 Reflection 就够了吗？

比较：

  • Reflective HyperAgents；
  • IDM Reflection。

两个方法都：

每一个 draft 都额外 revision 一次。

唯一重要区别是：

IDM Reflection 在 revision 时还会获得 IDM forecast。

40 generations 后：

Method Median AUBC
Reflective HyperAgents 0.2617
IDM Reflection 0.2888

因此：

提升并不只是因为“多给 Meta Agent 一次重新考虑的机会”。

task-level predictive feedback 本身有额外价值。

7.2 IDM 有必要自己不断更新吗？

比较：

  • Frozen Selective IDM；
  • Selective IDM。

两者都：

  • 使用 IDM；
  • 使用 Selective Revision；
  • 使用在线 bias calibration。

区别只有：

Frozen Selective IDM 永远使用 initial IDM，不允许 forecasting program 自己 evolve。

40 generations 后：

Method Median AUBC
Frozen Selective IDM 0.2792
Selective IDM 0.3058

说明：

让 IDM 自己随着 modification-outcome experience 不断更新，确实进一步提高了 evolution performance。

7.3 为什么不每次都使用 IDM Reflection？

比较：

  • IDM Reflection；
  • Selective IDM。

两者都有 evolving IDM。

区别是：

  • IDM Reflection：40 代中每一代都 revision；
  • Selective IDM：只有预测可能退步时才 revision。

结果：

Method 40-generation Median AUBC
IDM Reflection 0.2888
Selective IDM 0.3058

而 revision 次数：

Method Median Revision Passes
IDM Reflection 40
Selective IDM 27

也就是说：

Selective IDM 不仅 revision 次数更少，效果反而更好。

这说明 IDM 在这里还承担了另一项职责：

把有限的额外推理预算分配给真正值得重新修改的 draft。

7.4 严格控制 token 后，Selective IDM 仍然最好

在 Coding ablation 中，作者统一使用：

145.79M token

作为 matched-token budget。

结果：

Method Matched-token AUBC
Reflective HyperAgents 0.3090
Frozen Selective IDM 0.3119
IDM Reflection 0.3098
Selective IDM 0.3211

因此完整方法的优势仍然存在。

7.5 不只是 Top-1 Agent 更好

作者还统计了 evolution 过程中所有 descendants 的平均质量。

Method Mean Resolve Rate Full-evaluation Generations
HyperAgents 17.00% 5.0%
Reflective HyperAgents 29.25% 35.0%
IDM Reflection 36.50% 57.5%
Frozen Selective IDM 28.25% 30.0%
Selective IDM 29.50% 45.0%

所以 IDM 并不是偶尔撞到了一个非常强的 Agent，才把 Top-1 AUBC 拉高。

预测式 feedback 还提高了：

整个进化过程中生成 descendants 的整体质量。

8. 这篇论文与 HyperAgents 到底是什么关系？

如果熟悉 HyperAgents，可以把本文理解成：

HyperAgents 的整体 Self-Evolution 范式没有被推翻，而是在“Meta Agent 提出修改”和“真实 Evaluation”之间加入了一套可进化的预测—修正机制。

HyperAgents 原本主要有两类可进化对象：

Task Agent + Meta Agent。

本文变成：

Task Agent + Meta Agent + IDM。

其中 IDM 专门学习：

Agent modification → future evaluation outcome

之间的关系。

因此两篇论文可以非常粗略地画成：

HyperAgents

Archive
→ Parent
→ Meta Agent 提出 modification
→ Child
→ Evaluation
→ Archive

Predict Before You Modify

Archive
→ Parent
→ Meta Agent 提出 draft modification
→ IDM 预测后果
→ 必要时 Meta Agent revision
→ Child
→ Evaluation
→ modification / forecast / outcome record
→ 继续优化 IDM

所以本文真正新增的，并不是新的 Task Agent。

而是：

给自进化系统增加了一个专门学习“改进动力学”的可进化预测层。

9. 一个很重要的设计：IDM 与 Meta Agent 并不是同一个角色

乍看之下可能会产生一个问题：

Meta Agent 自己本来就能看到历史 archive，为什么不直接让 Meta Agent 自己判断这次修改好不好？

论文实际上做了角色拆分。

Meta Agent

负责：

提出 modification。

IDM

负责：

预测 modification 的 task-level consequence。

而且二者的优化目标也不同。

Meta Agent 更关心：

怎样提出能产生高 benchmark score 的修改。

IDM 更关心：

自己预测的结果与修改后的真实结果是否一致。

因此 IDM 有自己独立的：

  • prediction target；
  • prediction loss；
  • update schedule；
  • validation mechanism。

这使得系统可以显式积累：

关于“Modification 会导致什么后果”的知识。

而不仅仅是让这些信息隐式混在 Meta Agent 的历史上下文中。

10. 为什么作者要让 IDM 预测“修改”，而不仅看 Parent 的表现？

论文附录还专门验证了：

proposed modification 本身是否真的提供了预测信息。

作者比较：

  • 能看到 modification 的 IDM；
  • 看不到 modification information 的预测方式。

加入 modification information 后，平均 prediction loss 分别下降：

Domain Prediction Loss Reduction
Paper Review 16.18%
Robotics 19.98%
Joint 16.25%

因此只知道：

Parent 原来表现怎么样；

并不足以准确预测 Child。

必须真正理解：

这次到底修改了哪些代码，以及这些修改会怎样改变 Agent 行为。

这也是 IDM 与普通 value predictor 的一个重要区别。

11. IDM 在 evolution 中实际学到了什么？

论文给出了一个 Coding evolution case study。

随着 evolution 进行，Task Agent 的修改逐渐学会：

  • 修改之前先提供 source code 和 tests；
  • 没有 tests 时避免重复尝试；
  • 在 text-transposition task 中保留 spaces。

与此同时，IDM 自己的 forecasting rules 也发生了变化。

例如：

第一次 IDM Update

IDM 开始要求：

如果要给出高于 70% 的 success probability，必须提供更加具体的理由。

第二次 IDM Update

IDM 提高了对：

unfinished run

风险的预测权重。

随着这些 forecasting rule 的修改：

IDM 的平均 prediction loss 持续下降。

因此 Task Agent 和 IDM 实际上在学习两种不同的东西：

  • Task Agent：怎样做任务；
  • IDM：怎样判断一次修改会怎样影响任务。

12. 论文的边界

论文没有单独设置一个完整的 Limitations 章节，因此这里不额外推断作者没有讨论的问题，只总结论文中明确体现出来的设计边界。

12.1 IDM 目前仍然不能取代真实 Evaluation

虽然 IDM 可以预测 modification outcome，但最终 Child：

无论预测多好或多差，仍然需要真实 Evaluation。

因此目前 IDM 的主要功能是：

revision guidance。

而不是直接作为 surrogate evaluator 完全替代昂贵评测。

12.2 每一代最多只进行一次 Revision

本文有意限制：

至多 revision 一次。

这是为了控制计算成本。

因此作者没有研究：

多轮 prediction → revision → prediction → revision

是否还能进一步提高结果。

12.3 Prediction target 与 loss 仍然由人预先定义

虽然 IDM 的 forecasting program 可以 evolve，但：

  • Coding 应该预测哪四类 outcome；
  • Paper Review 应该预测 correct / incorrect / invalid；
  • Robotics 应该预测哪些数值；
  • 使用什么 prediction loss；

这些定义本身是固定的。

也就是说：

进化的是 forecasting strategy，而不是 prediction objective 本身。

12.4 实验中的 foundation model 权重始终冻结

论文验证的是：

program-level self-evolution。

并没有研究：

IDM evolution 与模型权重训练同时进行时会发生什么。

13. 未来方向：从 IDM 走向 Agent Evolution 的 World Model

作者在 Conclusion 中提出了一个很自然的未来方向：

将 IDM 进一步发展成 world model of agent evolution。

当前 IDM 主要解决的是：

“做完这一次 modification，下一代 Agent 会怎么样？”

这是比较短视的一步预测。

但是自进化过程中可能存在一些修改：

第一代看起来没有立即提升，甚至暂时退步，但是它改变了系统结构，从而让后面几代更容易继续优化。

当前 revision rule 很可能认为：

这次修改比 Parent 差，所以应该重新修改。

如果未来 IDM 能够预测：

modification sequence

而不仅仅是单步 modification，就可能发现：

某些短期没有收益的修改，其实是通向长期更强 Agent 的必要中间状态。

这也是作者认为 IDM 可以继续扩展的方向。

14. 总结

这篇论文建立在 HyperAgents 上。

HyperAgents 已经能够让：

  • Task Agent；
  • Meta Agent；

共同进行 self-evolution。

但其基本逻辑仍然是：

先修改，真正评测之后才知道修改效果。

本文提出的核心思想是：

Predict Before You Modify。

作者增加了一个 Improvement Dynamics Model（IDM）：

  1. Meta Agent 先提出 draft modification；
  2. IDM 根据 Parent、历史 archive、task-level outcome 和 proposed diff，预测修改后的具体任务结果；
  3. 如果预测的新 Agent 比 Parent 更差，则给 Meta Agent 一次 revision；
  4. 最终 Child 接受真实 Evaluation；
  5. 系统记录“修改—预测—真实结果”；
  6. 每 5 代，Meta Agent 根据历史预测误差尝试修改 IDM；
  7. Candidate IDM 必须在之后新收集的数据上证明 prediction loss 更低，才能替换 Current IDM。

因此系统中最终形成了三类持续进化的能力：

Task solving → Modification proposal → Modification consequence prediction

实验表明：

  • Coding 40-generation AUBC 从 0.210 提升到 0.306，提升约 46%；
  • matched-token budget 下仍比 HyperAgents 高 10.9%；
  • held-out coding task 上同样取得更大的提升；
  • Paper Review + Robotics 联合 evolution 中依然有效；
  • IDM prediction accuracy 会随着 evolution 改善；
  • evolved IDM 可以从 Paper Review + Robotics 迁移到 Mathematical Grading；
  • 相比单纯增加 Reflection、冻结 IDM 或每次强制 Revision，完整的 Selective IDM 效果最好。

所以这篇工作的核心并不是简单加入一个“反思 Agent”。

更准确地说，它把：

“理解一次 Agent 修改会造成什么后果”

本身变成了一个：

独立、可验证、可进化、甚至可以跨领域迁移的能力。

这使得 Self-Evolving Agent 不再只能通过：

“改了以后跑一下看看”

来学习改进规律，而开始显式学习：

Agent 自己的 improvement dynamics。

参考

  1. Zixuan Xie, Chang Xu, Yuhua Jiang, Li Zhao. Predict Before You Modify: Learning Improvement Dynamics for Self-Evolving Agents. arXiv:2610.13991, 2026.
    https://arxiv.org/abs/2610.13991

  2. Jenny Zhang et al. HyperAgents. arXiv preprint, 2026.

  3. Jenny Zhang et al. Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents. arXiv preprint, 2025.

posted @ 2026-11-06 11:05  YourF4u1t  阅读(2)  评论(0)    收藏  举报