The Red Queen Gödel Machine: Co-Evolving Agents and Their Evaluators

论文阅读：The Red Queen Gödel Machine——让 Agent 与 Evaluator 一起自进化

论文标题：The Red Queen Gödel Machine: Co-Evolving Agents and Their Evaluators
作者：Alex Iacob, Andrej Jovanović, William F. Shen 等
作者机构：University of Cambridge、NVIDIA、Flower Labs、MBZUAI、Inria
发表状态：arXiv 预印本，Preliminary preprint / work in progress
arXiv 编号：2606.26294
当前版本：v3，2026 年 10 月 8 日
原文链接：https://arxiv.org/abs/2606.26294
PDF：https://arxiv.org/pdf/2606.26294
主题：Recursive Self-Improvement、Gödel Machine、Agent Evolution、Learned Evaluator、Co-Evolution
核心问题：现有 Agent 自进化方法通常固定“评价标准”，但如果 Agent 已经不断变强，Evaluator 是否也应该随之进化？RQGM 尝试把 Evaluator 本身也纳入自进化搜索空间，让“做任务的人”和“评价任务的人”共同进化。

1. 论文要解决什么问题？

近年来，以 Darwin Gödel Machine（DGM）、Huxley-Gödel Machine（HGM）和 HyperAgents 为代表的一类工作开始研究 Recursive Self-Improvement（递归自我改进）：

  1. Agent 执行任务；
  2. 根据结果判断当前 Agent 好不好；
  3. Meta-Agent 修改 Agent 的代码、Prompt、工具或者运行逻辑；
  4. 产生一个新的 Agent；
  5. 测试新 Agent；
  6. 保留表现更好的版本；
  7. 继续搜索。

这相当于在一个巨大的 Agent 设计空间里进行进化搜索。

但这些工作的评价机制存在一个共同特点：

Agent 可以进化，Evaluator 却基本固定。

例如对于编程 Agent：

  • Agent 的代码可以不断修改；
  • Agent 的 Prompt 可以不断修改；
  • Agent 的工具调用方式可以变化；

但判断 Agent 好不好的标准始终可能是同一个 benchmark 或同一个 Judge。

这就形成了一个不对称结构：

Agent：不断进化
   ↓
Evaluator：固定

作者认为，这会带来几个问题。

1.1 Benchmark 可能逐渐饱和

如果 Agent 已经越来越擅长某个固定 benchmark，那么继续针对这个 benchmark 搜索，能提供的信息越来越少。

甚至可能出现：

所有候选 Agent 在 benchmark 上都差不多
→ benchmark 无法区分它们
→ 搜索失去方向

1.2 Agent 可能学会“讨好 Evaluator”

如果 Evaluator 始终不变，长期搜索可能逐渐找到它的漏洞。

例如论文写作 Agent 的目标如果只是：

让固定 Reviewer 接受自己的论文。

那么搜索最终可能优化成：

怎样写出这个 Reviewer 喜欢看的文本。

而不是：

怎样真正写出更好的论文。

这本质上是一种 reward hacking。

1.3 有些任务根本不存在直接 Ground Truth

对于代码任务，可以直接跑测试：

patch
  ↓
unit test
  ↓
pass / fail

但对于论文写作：

这篇论文到底“好不好”？

很难得到一个客观、廉价、即时的 Ground Truth。

证明生成也类似。

一个数学证明是否高质量，通常需要一个 Grader 来判断。

因此这类任务实际上是：

Generator
   ↓
artifact
   ↓
Evaluator
   ↓
score

如果 Evaluator 自身不够强，那么 Generator 的上限也会受到限制。

2. Red Queen：为什么叫“红皇后”？

论文名称来自生物演化中的 Red Queen Hypothesis（红皇后假说）。

其核心思想可以简单理解为：

一个物种不能只适应一个静止的环境，因为它的竞争者也在不断进化。

例如：

捕食者变快
   ↓
猎物也必须变快
   ↓
捕食者进一步变快
   ↓
猎物继续进化

双方形成一个动态竞争过程。

作者把这种思想搬到了 Agent 自进化中：

Task Agent 变强
      ↓
Evaluator 也变强
      ↓
更强 Evaluator 给 Agent 提供更严格的反馈
      ↓
Task Agent 再继续变强
      ↓
...

因此 RQGM 的核心不是单独进化 Agent，而是：

Co-Evolving Agents and Their Evaluators。

3. 从 HGM 到 RQGM

理解 RQGM 之前，需要先理解它继承的 HGM 搜索框架。

3.1 Agent 自进化被建模成一棵搜索树

系统维护一个 Agent archive：

\[\mathcal{T} \]

其中每个节点 \(a\) 都代表一个 Agent workspace。

根节点是初始 Agent：

\[a_0 \]

Meta-Agent 可以选择一个已有节点，对其进行修改：

a0
├── a1
│   ├── a3
│   └── a4
└── a2
    └── a5

这些修改可能包括：

  • 修改 Prompt；
  • 修改 Agent 代码；
  • 修改工具；
  • 修改调用流程；
  • 修改输出格式；
  • 修改 Meta-Agent 自己的行为。

于是自进化就变成：

在这棵不断扩张的 Agent 搜索树中，决定下一步应该从哪个节点继续修改。

4. 为什么不能只看当前 Agent 的分数？

一个节点当前表现很好，并不意味着：

从这个节点继续修改，未来一定容易产生更好的 Agent。

HGM 因此使用 Clade Metaproductivity（CMP）。

这里的 clade 可以理解成：

一个节点以及它所有后代组成的“进化支系”。

如果节点 \(a\) 对应的整个子树为 \(C(a)\)，其累计成功和失败次数分别为：

\[S_a^C,\quad F_a^C \]

则经验上的 CMP 为：

\[\widehat{\mathrm{CMP}}(a) = \frac{S_a^C} {S_a^C+F_a^C} \]

它评价的不是：

这个 Agent 自己厉不厉害？

而更接近：

从这个 Agent 出发，整个后代家族是否容易产生好 Agent？

RQGM 基本继承了 HGM 的这套搜索框架，并利用 Thompson Sampling 根据 CMP 选择值得继续扩张的 lineage。

5. RQGM 的第一个变化：一个节点不再只有一个 Agent

RQGM 将一个 archive node 从：

一个 Agent

升级成一个 shared workspace。

一个 workspace 里面可以同时包含：

Meta-Agent
Task Agent
Evaluator
其他 Agent role
共享工具
共享代码
Prompt
基础设施

例如论文写作任务可以包含：

Writer
Reviewer
Meta-Agent

数学任务可以包含：

Prover
Grader
Meta-Agent

编程任务可以包含：

Coder
Code Reviewer
Meta-Agent

这些角色共享一个可以修改的 workspace。

因此一次 mutation 不一定只改善某一个角色。

比如 Meta-Agent 修改了一套“读取 repository”的公共基础设施：

Coder 可以使用
Reviewer 也可以使用

于是一次修改可能同时提高多个角色。

这也是论文后来发现的重要现象：

  • DeepSWE 中，83% 的 accepted code patches 修改的是多个角色共享的功能或基础设施；
  • Polyglot 中这一比例达到 90%。

也就是说，共进化并不一定意味着：

一半算力优化 Coder
一半算力优化 Reviewer

大量修改实际上可以同时改善二者。

6. RQGM 的核心：Controlled Utility Evolution

RQGM 最关键的问题是：

如果 Evaluator 自己也一直变化，那么今天得到的 0.8 分和明天得到的 0.8 分，还能直接比较吗？

答案是不行。

假设最开始有一个宽松 Reviewer：

Reviewer A

某个 Writer 的接受率是：

90%

后来系统进化出了更严格、更准确的：

Reviewer B

同一个 Writer 在 B 下可能只剩：

50%

如果仍然把 A 和 B 的历史评价全部混在一起统计：

旧 Reviewer 的分数
+
新 Reviewer 的分数

那么 utility 就失去明确含义。

因此作者没有让 Evaluator 每一步都实时变化，而提出：

Controlled Utility Evolution。

核心原则是：

epoch 内固定，epoch 之间进化。

image

【Figure 2（RQGM 整体架构：shared workspace tree、frozen evaluator、checkpoint replacement 与 selective erasure）】

7. Epoch：Evaluator 在一段时间内必须冻结

RQGM 将整个搜索过程划分成多个 evolutionary epoch：

Epoch 1
Evaluator = E1
──────────────

checkpoint

Epoch 2
Evaluator = E2
──────────────

checkpoint

Epoch 3
Evaluator = E3
──────────────

在一个 epoch 内：

当前 Evaluator 完全冻结。

例如 Epoch 1 中：

Writer A → E1
Writer B → E1
Writer C → E1
Writer D → E1

因此这些结果是在同一个评价标准下得到的，可以相互比较。

与此同时，搜索仍然允许产生新的 Evaluator challenger：

E1
├── E2_candidate
├── E3_candidate
└── E4_candidate

但这些 challenger 不能立即接管评价系统。

只有到 checkpoint 时才会决定是否更换 Evaluator。

这正是作者所谓的：

epoch-local stationarity。

也就是：

整个系统的 utility 可以长期变化，但在一个 epoch 内必须保持静态。

8. Evaluator 怎么决定能不能“上位”？

如果让新的 Evaluator 自己证明自己更好，会产生明显的循环问题：

Evaluator B：
“我觉得我自己比 Evaluator A 好。”

显然没有意义。

因此作者引入了一个非常重要的东西：

Ground-truth anchor。

每个 Evaluator 都必须在一个独立于它自己的真实标注数据集上接受测试。

例如论文 Reviewer：

APReS 中的人类 accept / reject 标签

数学 Grader：

IMO-GradingBench 的人工评分

Code Reviewer：

已知正确 / 错误的 patch

于是 Evaluator 的升级流程变成：

当前 Evaluator E_old
        +
多个 challenger
        ↓
在 Ground-truth Anchor 上比较
        ↓
选出最可靠 Evaluator
        ↓
替换 E_old

换句话说：

Task Agent 可以由 learned evaluator 指导，但 Evaluator 自己仍然需要一个相对稳定的外部锚点。

这避免了纯粹的：

Agent 评价 Evaluator
Evaluator 评价 Agent

最终二者一起漂移。

9. Best-Belief：为什么不是直接看平均成功率？

Agent 和 Evaluator 的测试次数都有限。

例如：

Agent A：1/1 成功
Agent B：90/100 成功

直接看成功率：

A = 100%
B = 90%

显然不能轻易认为 A 更可靠。

因此作者延续 HGM 的做法，用 Beta working posterior：

\[\operatorname{Beta}(1+S_a,1+F_a) \]

其中：

  • \(S_a\)：成功次数；
  • \(F_a\)：失败次数。

然后定义：

\[BB_\epsilon(a) = \operatorname{Quantile}_{\epsilon} \left[ \operatorname{Beta}(1+S_a,1+F_a) \right] \]

论文使用的核心思想可以理解成：

不看 Agent “平均看起来多强”，而看一个较保守的可信下界。

例如 \(\epsilon=0.05\) 时，可以直观理解成：

在考虑测试不确定性之后，我有多大把握认为这个 Agent 至少有这么好？

Evaluator replacement 同样使用这个标准。

10. Selective Erasure：换了裁判以后，旧分数怎么办？

这是 RQGM 中另一个非常关键的设计。

假设：

Epoch 1：Reviewer A
Epoch 2：Reviewer B

某些 utility record 是 Reviewer A 产生的：

Writer X → Reviewer A → accept
Writer Y → Reviewer A → reject

Reviewer B 上台以后，这些分数不能继续直接作为当前评价标准下的证据。

因此系统为每一条 utility record 保存：

这条记录依赖了哪些 evaluator slot。

记作：

\[\operatorname{dep}(z) \]

如果 slot \(m\) 中的 Evaluator 被替换，那么：

删除所有依赖旧 Evaluator \(m\) 的 utility records。

这就是 Selective Erasure。

注意，它不是把整个 archive 清空。

例如：

代码真实测试结果      → 保留
Ground-truth 结果     → 保留
旧 Reviewer 给的评价 → 删除
生成出来的 artifact   → 可以保留
Agent 代码            → 保留

因此：

Evaluator-independent evidence
             ↓
          永久保留

Evaluator-dependent evidence
             ↓
Evaluator 被替换后失效

这样既能够切换评价标准，又不需要整个搜索从零开始。

11. 为什么 Selective Erasure 很重要？

假设不删除旧 Reviewer 的评分：

历史：
Reviewer A 给 Agent X 很高分

现在：
Reviewer B 认为 Agent X 很差

如果两边继续混合：

score(X)
=
A 的旧评价
+
B 的新评价

搜索排序会被历史评价“拖住”。

论文实验也观察到了这一现象。

Evaluator replacement 后，如果执行 erasure，archive 中不同 Agent 的排名会明显重新排列。

而在 no-erasure control 中，replacement 之后排名仍然高度稳定：

\[\rho \ge 0.90 \]

也就是说：

名义上虽然换了 Evaluator，但旧评价记录仍然控制着搜索方向。

因此作者认为：

替换 Evaluator + selective erasure 两者必须配套。

12. 为什么不把所有历史 Agent 都重新评一遍？

最直接的做法当然是：

Evaluator 更新
      ↓
重新评价整个 archive

但 archive 可能已经非常大。

如果每次 replacement 都全部重新评价，会产生巨额计算开销。

RQGM 使用两个策略。

第一，旧 artifact 可以缓存。

如果一个 Writer 曾经已经生成了一篇论文，那么新 Reviewer 可以：

直接重新 review 原来的论文

不需要再次调用 Writer。

第二，系统采用 exponentially spaced checkpoints。

也就是 replacement 检查不会每一步都执行，而是越来越稀疏。

因此评价标准的切换成本可以被摊销。

13. 一个完整 RQGM Loop 是怎样运行的？

把前面的设计合在一起，可以得到整个系统流程。

Step 1：初始化 workspace

建立初始节点：

Meta-Agent
Task Agent
Evaluator
Prompt
Tools
Code

例如论文任务：

Writer + Reviewer

Step 2：冻结当前 Evaluator

在当前 epoch 中：

Evaluator = frozen

所有 Agent 都在同一个标准下接受评价。

Step 3：选择搜索节点

RQGM 根据 HGM 的 CMP 和 Thompson Sampling，从 archive 中寻找值得继续扩张的 lineage。

Step 4：Meta-Agent 修改 workspace

Meta-Agent 可以修改：

  • Task Agent；
  • Evaluator；
  • Prompt；
  • Agent code；
  • Tool；
  • shared infrastructure；
  • 甚至自己的部分逻辑。

产生新的 child node。

Step 5：评估新节点

新节点中的不同 role 分别执行任务。

例如：

Coder → coding task
Reviewer → review task

系统记录成功 / 失败。

Step 6：继续积累 challenger

随着搜索进行，archive 中逐渐出现更强的：

Coder
Reviewer
Writer
Grader
...

Step 7：到达 checkpoint

系统检查当前 Evaluator 与 challenger。

Step 8：Ground-truth anchor 选择 Evaluator

所有候选 Evaluator 在独立 anchor 上比较。

最好的 challenger 才允许替换 incumbent。

Step 9：Selective Erasure

如果发生 replacement：

删除依赖旧 Evaluator 的 utility records
重新计算 node / clade statistics

但 Agent、artifact 和其他不依赖该 Evaluator 的记录继续保留。

Step 10：进入下一 epoch

新的 Evaluator 再次冻结：

Epoch j
   ↓
Evaluator replacement
   ↓
Epoch j+1

然后搜索继续。

这就是论文所说的：

Controlled Utility Evolution。

14. 一个容易误解的地方：这里的 “learned evaluator” 到底学了什么？

这里非常值得单独说明。

论文中的 learned evaluator 并不是典型意义上的：

收集数据
→ SGD
→ 更新 LLM 权重
→ 得到新的 Judge model

论文的大部分 headline 实验使用固定的 backbone，例如 GPT-5.5 或 GPT-6 Astra。

真正被搜索和修改的是 Agent workspace。

在 GPT-5.5 实验中，初始 task agent 基本都是非常简单的 LLM 调用，Evaluator 最开始甚至只是一个简短 instruction。

Meta-Agent 在搜索中逐渐修改：

Evaluator Prompt
Rubric
Tool usage
Code
Agent workflow
Shared infrastructure

因此这里的 “learned” 更接近：

通过 Agent search 自动发现更好的 evaluator policy / harness。

而不是：

训练出一套新的 LLM 参数。

例如作者观察到，Proof Grader 从最开始一个几乎没有 rubric 的简单评分指令，逐渐进化出了：

  • grader persona；
  • milestone-based 判断流程；
  • points mapping；
  • strictness rule；
  • 对简略但正确证明的处理规则；
  • 对 fatal gap 的严格拒绝规则。

DeepSWE 的 Code Reviewer 则进一步从简单的一次 LLM 判断进化到：

先理解任务
→ 阅读 repository
→ 制定检查清单
→ 检查 patch
→ 最强版本甚至把 patch 应用到临时 Git 副本
→ 再判断是否真正正确

因此这篇工作的自进化对象实际上非常接近：

Agent Harness + Prompt + Code + Tool Policy。

15. Adversarial Pool：只靠 Ground Truth 还不够

Ground-truth anchor 可以保证 Evaluator 不会完全漂移。

但它存在一个问题：

anchor 本身也定义了一个上限。

例如 Reviewer 只需要把 APReS 中：

human accepted
human rejected

分类准确，就可以在 anchor 上表现很好。

但它仍然可能特别容易接受 AI 生成文本。

论文发现 HGM-H Reviewer 对 AI-generated papers 的接受率，是其对 human papers 接受率的：

\[1.42\times \sim 1.91\times \]

也就是说：

Reviewer 可能对 AI 写作存在明显的过度宽容。

为此 RQGM 又加入了 adversarial objective。

做法很直观。

假设 Reviewer A 被替换。

系统收集：

Reviewer A 曾经错误接受或容易接受的 AI-generated artifacts。

形成：

Adversarial Pool

接下来选 Reviewer B 时，不仅要求：

在 Ground-truth Anchor 上表现好

还要求：

能够拒绝旧 Reviewer 曾经放过的可疑 AI artifacts

于是整个过程变成：

Generator 找到 Evaluator 弱点
        ↓
产生 Evaluator 容易接受的 artifact
        ↓
这些 artifact 进入 adversarial pool
        ↓
新 Evaluator 被要求识别这些失败案例
        ↓
Evaluator 更强
        ↓
Generator 又需要进一步提高

这才真正呈现出了 Red Queen 式的“军备竞赛”。

16. 实验设计

论文覆盖了四类任务。

领域 Task Agent Evaluator Ground-truth Anchor
Polyglot Coding Coder Code Reviewer executable tests + CRAVE
DeepSWE Coder Code Reviewer benchmark tests + accepted/rejected patches
Scientific Paper Writer Reviewer APReS human accept/reject
Olympiad Proof Prover Grader IMO-GradingBench human grades
Reward Design Reward Designer 环境评价 quadruped walking fitness

其中前三类最直接体现：

Generator 与 Evaluator 的共同进化。

Reward Design 则用来展示 RQGM 更广义的能力：

Utility 不一定非得通过替换 Evaluator 改变，也可以通过改变任务课程而改变。

17. 数据划分

论文严格区分：

Train
Validation
Held-out Test

Train split 可以被 Meta-Agent 用来观察任务表现，并指导修改。

Validation split 用于：

  • node selection；
  • evaluator replacement；
  • 搜索过程中的 utility。

Held-out Test 在整个搜索中不可见，只在最后评估最终 Agent。

例如 DeepSWE 被按 repository 划分为：

  • train：28 tasks；
  • validation：57 tasks；
  • test：28 tasks。

这样可以避免相同 repository 同时进入不同 split。

论文写作的 APReS 则分别采样：

  • 100 train；
  • 100 validation；
  • 100 test；

每个 split 中各有 50 篇 accepted 和 50 篇 rejected paper。

18. 实验一：即使已经有 Ground Truth，Evaluator 仍然有帮助

一个自然的问题是：

如果代码任务已经能直接跑测试，为什么还需要 Code Reviewer？

作者给出的答案是：

Reviewer 可以提供一个额外、更便宜，而且与测试互补的搜索信号。

18.1 DeepSWE

在 low reasoning effort 下：

方法 Held-out Pass Rate
GPT-6 Astra 68.8%
HGM-H 75.0%
RQGM 82.1%

进一步提高 inference reasoning effort：

方法 Low Medium High
GPT-6 Astra 68.8% 76.8% 83.0%
HGM-H 75.0% 78.6% 82.1%
RQGM 82.1% 85.7% 85.7%

值得注意的是，搜索过程中 Coder 本身使用的是 low reasoning effort。

但找到的 Agent harness 可以迁移到更高 reasoning effort。

说明搜索得到的并不仅仅是：

“让模型多想一点”。

而是找到了一些能够改善 Agent 行为的结构性修改。

18.2 Polyglot

Polyglot 上：

方法 Held-out Pass Rate
HGM-H 69.9%
RQGM 71.7%

RQGM specialist 和 generalist 都达到 71.7%。

更重要的是，超过 HGM-H 的搜索成本减少约：

\[1.35\times \sim 1.72\times \]

说明 evolved Code Reviewer 可以充当一种额外的搜索信号。

19. Reward Design：Utility 本身也可以形成 Curriculum

RQGM 并不限定：

只有 Evaluator 才能变化。

作者还设计了一个 quadruped reward design 实验。

Meta-Agent 的任务是：

为 Unitree Go2 四足机器人设计 reward function。

训练时优化机器人：

向前走

最终 held-out 测试则是：

跳跃

Static baseline 始终只面对普通 walking task。

RQGM 则逐渐加入障碍物：

普通行走
   ↓
较小障碍
   ↓
更大障碍

也就是逐步改变 utility 所对应的任务分布。

结果：

Search Held-out Score 成功跳跃的 runs
Static 0.306 ± 0.128 3/5
RQGM Curriculum 0.365 ± 0.053 5/5

held-out mean 提升约 19%。

这个实验主要说明：

Controlled Utility Evolution 并不局限于 co-evolving Judge，也可以描述 Curriculum 等随时间变化的搜索目标。

20. 实验二：没有客观 Benchmark 时，Evaluator 提供搜索信号

这是 RQGM 更重要的应用场景。

例如：

写一篇好论文
写一个好数学证明

并不存在简单的：

unit_test()

因此 Generator 必须通过 learned evaluator 获得反馈。

20.1 Paper Writing

作者使用四个不同 Reviewer 对最终 Writer 生成的 100 篇论文进行评价。

结果如下：

Writer Search Tokens Sakana DGM-H HGM-H RQGM Adversarial Mean
HGM-H 42.5M 1.0% 12.0% 64.0% 10.0% 21.8%
RQGM Generalist 44.6M 2.0% 43.0% 81.0% 29.0% 38.8%
RQGM Specialist 221.8M 5.0% 40.0% 86.0% 31.0% 40.5%

在相近搜索成本下：

\[21.8\% \rightarrow 38.8\% \]

即平均 acceptance 提升：

\[1.78\times \]

整个搜索中找到的最佳 specialist 则达到：

\[40.5\% \]

相比 HGM-H 为：

\[1.86\times \]

这里特别重要的一点是：

RQGM 并不是单纯把 Writer 训练得更会“讨好当前 Reviewer”。

因为 Reviewer 自己也会被替换，而且 adversarial pool 会持续针对旧 Reviewer 的弱点。

21. Proof Writing

Proof domain 中包含：

Prover
+
Grader

作者最终使用三个 Grader 组成固定 panel，对生成证明进行统一评价。

Prover Search Tokens Mean Score Pass@6 Pass@7
Static IMO25 N/A 4.07 55.0% 55.0%
HGM-H 21.5M 3.73 51.7% 45.0%
RQGM Generalist 37.9M 3.73 51.7% 45.0%
RQGM Specialist 88.0M 4.33 61.7% 48.3%

这里要谨慎理解结果。

RQGM Specialist 的：

  • 平均分最高；
  • Pass@6 最高；

但 Pass@7 仍然低于静态 IMO25 prover。

因此它主要找到的是更多：

接近完整的 6/7 分证明。

而不是在所有指标上都全面超过 IMO25。

即使从评价 panel 中去掉 RQGM 自己进化出的 Grader，RQGM Specialist 的平均分仍达到 4.03：

  • Static IMO25：4.08；
  • RQGM：4.03；
  • HGM-H：3.60。

22. 实验三：Evaluator Replacement 真的改变搜索方向了吗？

如果 replacement 之后：

原来的好 Agent 还是好 Agent
原来的坏 Agent 还是坏 Agent

那么所谓“Evaluator 进化”可能只是换了一个名字。

因此作者计算 replacement 前后 archive 排名之间的 Spearman correlation：

\[\rho \]

如果：

\[\rho=1 \]

说明排名完全没有变化。

结果显示：

replacement 后排名会明显重新排列，并且不会重新恢复到原来的顺序。

而 no-erasure control 中：

\[\rho\ge 0.90 \]

说明不做 selective erasure 时，旧 utility 会让 archive 基本维持原排序。

这验证了：

Evaluator replacement
        +
Selective erasure
        ↓
真正改变搜索 landscape

作者将这种现象解释成一种 curriculum：

随着 Evaluator 越来越严格，Agent 必须不断满足新的、更强的标准。

23. 但进化并没有把整个搜索树推翻

虽然 Evaluator replacement 会重新排序 archive，但论文观察到一个有趣现象：

最强的 lineage 往往能够继续存活。

也就是说，搜索可能形成：

一个相对稳定的 backbone lineage
            ↓
周围候选 Agent 被新 Evaluator 不断重新排序
            ↓
更适应新标准的 branch 获得更多搜索资源

因此整个过程并不是：

换 Evaluator
→ 前面全部作废
→ 从零开始

而更接近：

保留已有强 lineage
+
重新筛选候选 branch
+
推动搜索继续向前

24. 实验四：Evaluator 自己真的变强了吗？

RQGM 不只是希望：

更好的 Evaluator 帮助 Generator。

Evaluator 本身也必须得到提升。

24.1 Proof Grader

在 IMO-GradingBench 上：

Co-evolved RQGM Grader 达到实验中最强的 grading accuracy。

同时，找到这个 Grader 的搜索成本约为 HGM-H 的：

\[\frac{1}{3} \]

也就是说，更强的 Grader 并不是一个副产品，它本身就是 RQGM 搜索出来的重要 Agent。

而这个 Grader 又反过来为 Prover 提供更有效的评价信号。

于是形成：

更好的 Grader
      ↓
更好的 Prover 搜索
      ↓
更强 Prover

24.2 Paper Reviewer 与 self-preference

论文发现普通 HGM-H Reviewer 对 AI-generated papers 明显过于宽松。

RQGM 利用 adversarial pool 专门对此进行纠正。

最终 adversarial Reviewer 在 APReS 上：

  • Ground-truth accuracy：80%；
  • Human paper acceptance rate：约 32%；
  • RQGM Writer 论文 acceptance：约 29%～31%。

也就是说，它对：

Human paper
AI paper

的严格程度变得更加接近。

代价是：

它的原始 classification accuracy 并不是所有 Reviewer 中最高。

这是作者主动设计的 trade-off：

不只优化 Ground-truth Accuracy
+
额外优化 AI-generated artifact 上的鲁棒性

从而避免 Reviewer 只学会拟合 benchmark，却继续对生成内容存在系统性偏差。

25. 消融实验：哪些组件真正重要？

作者重点消融了三个机制：

Evaluator Replacement
Adversarial Pool
Selective Erasure

25.1 Paper Domain

设置 Replacement Pool Erasure Reviewer Anchor Accuracy
Full ✓ ✓ ✓ 95.0%
Replacement Only ✓ ✗ ✓ 91.2%
No Erasure ✓ ✓ ✗ 92.9%
Fixed Reviewer ✗ ✗ - 78.2%

一个很有意思的现象是：

Fixed Reviewer 下 Writer 最后把所有 75 个 validation papers 都做到了被 Reviewer 接受。

也就是：

Writer validation acceptance = 100%

看上去非常强。

但 Reviewer 自己在真实 anchor 上只有：

78.2%

这实际上正好说明了固定 Judge 的危险：

Generator 已经把这个 Judge“刷穿了”。

Evaluator replacement 可以打破这种饱和。

而没有 erasure 时，旧 Reviewer 留下来的 utility 又会逐渐污染新的搜索标准。

25.2 Proof Domain

Proof Writing：

Condition Prover Specialist Score
Full RQGM 3.60
Pool Off 3.14
Transitions Off 2.64
Coupled HGM 3.05

Proof Grading：

Condition Human Grade Agreement MAE / 7
Full RQGM 67.3% 0.122
Pool Off 58.8% 0.169
Transitions Off 56.0% 0.197
Coupled HGM 65.7% 0.141

总体而言，完整机制同时得到：

  • 最好的 Grader；
  • 最好的 Prover。

尤其关闭 evaluator transition 后，两者都会明显退化。

26. 搜索到底发现了什么？

附录中作者进一步检查了真正被修改的代码和 Prompt。

这是理解这篇论文非常重要的一部分。

因为它回答了：

所谓“Evaluator evolution”究竟是不是一句抽象概念？

答案是，搜索确实找到了比较具体的行为规则。

26.1 Proof Grader

初始 Grader 只有非常简单的评分指令。

第一次关键修改加入：

  • Grader persona；
  • 两阶段 milestone；
  • 分数映射；
  • 更严格的评分原则；
  • Prover Prompt。

第二次关键修改则让 Grader 更接近 human grade：

  • 接受与 reference solution 不同但正确的证明；
  • 允许简洁引用标准结论；
  • 对真正存在 fatal gap 的证明严格扣分。

也就是说，搜索实际上自动发现了一套越来越具体的：

grading rubric。

26.2 Polyglot Code Reviewer

初始 Reviewer 基本只判断：

代码整体质量是否看起来合理。

之后的版本逐渐把 failure 标准收窄为：

diff 中是否存在具体、可以指出的 defect。

这减少了过于模糊的主观判断。

26.3 DeepSWE Code Reviewer

DeepSWE 上 evaluator evolution 更明显。

Reviewer slot 一共发生：

  • 11 次 replacement；
  • 涉及 8 个不同 Reviewer。

早期 Reviewer 基本只是一次 LLM call。

后面的 Reviewer 开始：

读 repository
→ 分析 task
→ 制定 acceptance checklist
→ 检查源码

最终最强 Reviewer 甚至会：

将 patch 应用到一个临时 Git copy
→ 检查修改后的代码状态
→ 再做判断

更重要的是，早期 Reviewer 几乎：

什么 patch 都接受。

最终 Reviewer 才真正学会区分：

passing patch
vs.
failing patch

在一组共同评价的 patch 上：

  • 旧 Reviewer 接受 failing patch：约 85%；
  • 最终 Reviewer：约 19%。

说明 Ground-truth anchor 上的 Reviewer improvement 确实迁移到了搜索过程中。

27. 这篇论文真正新增的是什么？

如果把各种实现细节全部去掉，RQGM 相对于前面的 DGM / HGM / HyperAgents，最关键的变化可以概括成：

传统框架：

固定 Utility
    ↓
搜索 Agent
    ↓
Agent 不断进化

RQGM：

Ground-truth Anchor
        ↓
Evaluator 进化
        ↓
Utility 改变
        ↓
Agent 在新 Utility 下继续进化
        ↓
产生新的失败案例
        ↓
反过来推动 Evaluator 继续进化

因此它真正想解决的是：

Recursive Self-Improvement 中“谁来评价不断变强的 Agent”这个问题。

而不是简单再增加一个 Reviewer Agent。

28. 为什么必须是“Controlled” Utility Evolution？

理论上完全可以设计：

Evaluator 每一步都更新

但这样会导致 utility 始终变化：

t1 的 0.8
≠
t2 的 0.8
≠
t3 的 0.8

历史数据无法比较。

HGM 原来的固定 utility 假设也会彻底失效。

RQGM 的解决方法实际上是一种折中：

全局：
Utility 可以进化

局部：
一个 epoch 内必须固定

于是：

Non-stationary Global Search
        ↓
拆成
        ↓
多个 Stationary Local Searches

每个 epoch 内仍然可以使用 HGM 的搜索方法。

而 epoch 边界负责：

Evaluator replacement
+
Selective erasure

这就是整个方法在算法设计层面最核心的结构。

29. Ground-truth Anchor 同时也是 RQGM 的边界

RQGM 虽然让 Evaluator 进化了，但它并没有真正消除对外部监督的依赖。

Evaluator promotion 仍然依赖：

Ground-truth Anchor

这其实形成了一个明显边界。

假设 anchor 本身：

  • 很弱；
  • 有偏差；
  • 标签噪声很大；
  • 覆盖范围有限；

那么 Evaluator 仍然可能朝错误方向进化。

相反，如果强行要求 Evaluator 完全拟合 anchor：

Evaluator 最终也只能逼近这个 benchmark 定义的 decision boundary。

作者因此才需要 adversarial pool：

Ground-truth Anchor
+
额外 adversarial objective

尝试让 Evaluator 在不破坏基本正确性的情况下，进一步解决 anchor 没有直接覆盖的问题。

30. 论文局限性

作者在 Limitations 中主要指出三个问题。

30.1 Epoch 内 Stationarity 在现实中未必严格成立

理论分析要求：

同一个 epoch 内 Evaluator 和 scoring protocol 固定。

但现实 API 可能出现：

  • provider-side model update；
  • nondeterministic tool；
  • backend 变化。

这些都会让真实 evaluation distribution 并非严格 stationary。

30.2 Paper / Proof 仍然主要由自动 Evaluator 评价

论文写作和证明实验最终使用的是 automated reviewer / grader panel。

并没有让大量领域专家真正人工评价生成结果。

因此：

Reviewer-panel acceptance 不应直接等同于真实学术质量。

30.3 Anchor 本身限制了 Evaluator Evolution

如果 anchor 很差：

Evaluator 可能漂移

如果 anchor 很强但很窄：

Evaluator 又可能被限制在 anchor 的 decision boundary

所以如何设计一个既可靠、又不会成为能力上限的 external anchor，本身仍然是开放问题。

31. 搜索成本

RQGM 仍然属于计算开销很大的 Agent Search 方法。

作者分析发现，在 GPT-5.5 headline runs 中：

  • Validation evaluation 占约 65%～69% token；
  • Expansion 占约 18%～23%；
  • Train-time evaluation 占约 12%～14%。

DeepSWE 中 validation 同样占接近 70%。

因此真正昂贵的部分往往不是：

Meta-Agent 写一次新代码。

而是：

对大量候选 Agent 反复进行可靠评价。

这也从另一个角度说明了为什么作者如此重视：

Evaluator 与 evaluation efficiency。

作者进一步做了 hybrid-model 实验：

昂贵 GPT-5.5：
负责 Meta-Agent / expansion

较便宜 Nemotron 3 Ultra：
负责大量 search-time task-agent evaluation

在 paper domain 上，price-equivalent search cost 大约可以降低 13 倍，同时接近全 GPT-5.5 搜索的 held-out accuracy。

32. 总结

RQGM 的出发点是一个非常直接的问题：

如果 Agent 能够不断自我进化，那么一直用一个固定 Evaluator 去评价它是否合理？

DGM、HGM 和 HyperAgents 已经让：

Agent
Prompt
Code
Tool
Harness

进入了自进化循环。

RQGM 进一步把：

Evaluator

也放进了循环。

但如果 Evaluator 可以随意变化，整个搜索又会失去稳定的 utility。

因此论文提出 Controlled Utility Evolution：

epoch 内：
Evaluator 固定

epoch 边界：
用 Ground-truth Anchor 比较 Evaluator

如果出现更强 Evaluator：
replacement
+
selective erasure

然后：
进入新的 epoch

在此基础上，还可以利用旧 Evaluator 曾经接受的 AI-generated artifacts 建立 adversarial pool，让后续 Evaluator 专门修补旧 Evaluator 的弱点。

最终得到一个双向循环：

更强 Task Agent
        ↓
暴露 Evaluator 的新弱点
        ↓
更强 Evaluator
        ↓
提供更严格、更有效的搜索信号
        ↓
更强 Task Agent
        ↓
...

论文实验表明，这种设计在两种场景下都有作用：

第一种是本来就存在 Ground Truth 的任务。例如 DeepSWE 中，即使已经可以运行真实测试，额外 co-evolve Code Reviewer 仍然能够提供互补搜索信号，使 held-out pass rate 从 HGM-H 的 75.0% 提高到 82.1%。

第二种是没有直接 Ground Truth 的任务。对于论文写作和数学证明，learned Reviewer / Grader 可以充当搜索过程中不断改善的评价函数，使 Writer 和 Prover 得以继续优化。

因此，这篇工作的核心并不只是“多放一个 Judge Agent”，而是把 Recursive Self-Improvement 从：

在固定评价标准下进化 Agent

进一步扩展到了：

Agent 与定义其 Utility 的 Evaluator 一起进化

同时通过 Ground-truth Anchor、epoch-local stationarity 和 selective erasure，尽可能控制评价标准变化带来的漂移问题。

参考

  1. Alex Iacob et al. The Red Queen Gödel Machine: Co-Evolving Agents and Their Evaluators. arXiv:2606.26294, 2026.
    https://arxiv.org/abs/2606.26294

  2. Wenyi Wang et al. Huxley-Gödel Machine: Human-Level Coding Agent Development by an Approximation of the Optimal Self-Improving Machine. ICLR 2026.

  3. Jenny Zhang et al. Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents. ICLR 2026.

  4. Jenny Zhang et al. HyperAgents. arXiv:2603.19461, 2026.

  5. Leigh Van Valen. A New Evolutionary Law. Evolutionary Theory, 1973.

posted @ 2026-10-24 14:45  YourF4u1t  阅读(21)  评论(0)    收藏  举报