Claude Code 团队怎么看待验证:三类测试与诚实的检查器
Claude Code 团队怎么看待验证:三类测试与诚实的检查器
译者按:本文译自 claude.dev 博客 How the Claude Code team thinks about verification,作者 Addy Osmani,发布于 2026 年 11 月 16 日。术语保留英文原词;原文配图未附,不影响理解。版权归原作者所有。
在 Claude Code 团队,我们绝大部分代码(约 90%)由 Claude 编写和评审。到了这个规模,怎么让 Agent 用证据来验证自己的工作,就成了极其重要的事。
Verification loop(验证循环)是让你把更多工作交给 Claude 的基础构件。没有它,你一次只能跑一两个 Claude,因为什么都得你自己检查;有了它,你就可以并行跑几十上百个。
原因在于,给 Agent 一种验证自己输出的手段,是提升质量的有效办法。在结构化文件生成的内部测试里,让一个独立的 grader 对照 rubric 检查 Claude 的工作,比标准的提示循环最多提升了 10 个点的任务成功率,最难的问题上收益最大。
过去验证起来很贵的东西(测试、benchmark、规格说明、真实的端到端运行),现在让 Agent 生成一遍已经很便宜。Agent 可以像写代码一样快速生成测试、benchmark 和规格说明;生成之后,它们作为软件运行,可以高频执行,几乎不额外消耗 token。
你还可以把验证循环闭上:用验证结果反过来改进 Agent 在这个任务上的表现。比如 Agent 反复挂在一个检查日志里是否泄漏用户数据的测试上,你可以在 CLAUDE.md 里加一条更明确的规则,或者写一个 hook,这类问题就(基本)不会再出现。
所以,如果验证是高速产出高质量代码的关键,该用哪几类测试,又该怎么把它们铺进流水线?本文回答这两个问题,也分享 Claude Code 团队自己的做法。
不是所有测试都平等:值得投入的三类
不管选哪类测试,先避开几个常见的失败模式。
测试 flaky,Agent 会学会反复重跑测试,而不是去修挂掉的代码;测试太慢,Agent 在每批任务里跑的测试就少,定位问题会更困难。重一点的测试,最好放在改动 commit 之前跑。
下面是我认为最值得投入的三类测试。
E2E 测试
如果只能选一类,选端到端(E2E)。这类测试描述真实的用户流程:把商品加进购物车、结账、跳转到确认页。
E2E 测试之所以有效,是因为它很难被糊弄:整个功能要么能用,要么不能用。它有明确的完成标准,还能具体告诉你哪里坏了。
原文 FIG A:单元测试可能只显示 "Error: Timeout after 30 seconds",而 E2E 测试能给你一张截图,附上坏在哪里的描述。
单元测试更快也更稳定,但存在单元测试全绿、功能却是坏掉的可能,因为 Agent 和测试双方都不理解完整的任务。
用 E2E 测试时,让 Agent 对真实运行的系统有手有眼,效果会好很多。可以写一个 skill,用 CDP、模拟器或 API harness 这类工具去启动、驱动和检查应用。
feature map(功能地图)可以当 Agent 的导航和评分 rubric 用,因为它通常从用户视角列出功能,附上路径、快捷键、选择器和预期结果。
属性测试:不会破的约束
很多测试的出发点是"你觉得哪里可能出错"。属性测试(property test)盯的是人容易漏掉的边界情况,而这恰恰是 Agent 经常栽跟头的地方。
做法是先写一句你认为不可能失败的断言,再用测试库(JS/TS 用 fast-check,Python 用 Hypothesis,Rust 用 proptest)生成上千个输入,试图证明它是错的。
几乎所有软件项目里都有可用的性质:
- Round-trip encoding(往返编码):把 X 编码后再解码,得到的还是 X。解析和序列化同样适用。
- Invariants(不变量):永远成立的事情,比如"账户余额永远不能为负"。
- Idempotency(幂等性):同一个动作(迁移、规范化、重试)做两遍和做一遍效果相同。
- Equivalence(等价性):优化后的代码和朴素但正确的代码产出一致的结果。
属性测试库是让 Agent 保持诚实的好办法:这些边界输入不是由写了原始代码的那个 Agent 用同样的偏见生成的。在重写场景里它尤其有用,因为那时规格说明已经和生产行为漂移,不再是可靠的验证依据。
差分测试:旧系统就是 oracle
差分测试(differential test)特别适合大规模迁移:功能预期保持不变。跑法是新旧两个系统吃同样的输入,比对结果;有差异,就说明有 bug 或破坏性变更要修。
关键在于用随机生成的输入,或者生产流量的采样。另外要把无关因素规范化(比如空白字符差异),并维护一份"允许的差异"清单,处理新环境确实应该和旧环境不同的场景。
Claude Code 团队怎么想验证这件事
我们之前写过 Anthropic 的 code review 是怎么做的,这篇往更深走一层,讲我们怎么验证自己的工作。
验证意味着把改动跑起来
把应用端到端跑起来,比跑测试更重要。你不会发一个没在模拟器里试过的 iOS 改动,对 Claude 也一样。
Claude 可以像人或 QA 工程师那样测整个应用:Web 改动让它用 Claude Chrome 扩展,移动端用 iOS 或 Android MCP,桌面用 computer use,后端就在本地把服务跑起来。
要把"怎么启动模拟器、怎么跑应用"固化下来,就写一个叫 verify 的 skill,放在仓库的 .claude/skills/ 目录里,尽量靠近相关代码,需要多少个就写多少个。Claude 知道在提交改动前使用 verify skill。
然后投入精力把 verify skill 做得又快又稳。让 Claude 迭代它、压测它。它是你的 smoke test harness,必须靠得住。
给 Claude 一条端到端 smoke test 自己改动的路之后,结果会好很多:它会像人一样更快地迭代、更快地抓住真实的错误。我们在 Anthropic 测几乎所有改动用的都是这套办法。
失败的测试需要人来管
没人能读每一个改动,所以我们用"检查失败"来决定什么需要人介入。Claude 跑检查并尝试修复失败项,三轮之后还挂着,Claude 就停下来,把人拉进来。
检查由代码的 owner 来写
谁拥有这段代码,谁来给它写检查,并持续打磨,直到检查能标记出 owner 本人会标记的问题。当一个检查把 reviewer 拉进来时,它应该说明原因,免得对方还得自己从 diff 里猜。
可靠性检查由 diff 触发
我们维护一份 39 项的可靠性清单,每项都有能从 diff 里读出的触发条件、一项检查,以及它背后的事故或 PR。其中一项是 "--resume 能加载旧 transcripts":当 session 存储或消息类型变更时,我们会问新字段能否被安全加载,因为旧的 transcripts 里没有它。
Claude 读 diff,只查触发条件命中的条目,通常 3 到 10 条,于是没人需要背下历史上所有事故。
一个 reviewer,多轮打磨
我们不靠堆 reviewer 数量来提升 review 质量。在主 reviewer 之上再加一个更贵的 reviewer,往往不如把主 reviewer 调好。我们用一份 REVIEW.md 写明这个 reviewer 对这份代码该注意什么。
我们还认为 review 和验证的每一轮应该建立在前一轮之上:把每一轮指向之前几轮的上下文和历史失败,而不是每次从零重查。这样更便宜,也抓得更多。
改动不能修改评判自己的检查
如果一个改动能修改评判它的检查,这个检查就废了。Code Review 读取的 REVIEW.md 来自 base 分支或默认分支,永远不来自 PR 里的改动。Claude Code 团队确保那些卡改动的规则放在改动碰不到的分支上。
团队还把 review 保留给最终 commit。如果 review 进行时还有人往里推代码,review 结果就失效了:在一个过期的 commit 上跑出绿色没有任何意义。
团队也先跑便宜的检查。如果 Agent 没在本地测过就 push,它烧掉了共享的 review 和 CI 时间,而那个 bug 本可以自己抓到。在我们团队,Claude 在开 PR 前先跑测试、构建和 linter。你可以用一个在 Claude 结束时跑测试的 hook 来强制这一点,或者用 /goal 设成"测试套件全绿"。
新门禁先从 observe 模式开始
在我们自己的仓库里,每个 commit 都打上一个"它是怎么被验证的"标记。这个标记甚至包含 "none",这样我们就能查到哪些 commit 从未被验证。
我们还做了一个 commit gate:如果这次会话里没有跑过 /code-review 或 /verify,它可以拦下 commit。它有 off、observe、enforce 三种模式。
observe 模式只记录本来会拦下什么,这样我们能复核误报,确保没人被误伤。
enforce 模式会真的拦。任何 commit 都可以在提交信息里解释自己为什么没被验证。如果同一个会话里已经被拦过两次,下一个会放行,免得 Claude 卡死。Claude Code 并不完美。
用真正要紧的东西检验你的检查器
Claude Code 团队也会定期"评审评审者"。我们追踪这些数字:多少合并后的改动被 revert,多少改动在被合并前被维护者打回,以及一组按规模配对、一直保持干净的改动作为对照。
这件事也可以做成正式的评测。在那篇 code review 文章里我们写过,Code Review 团队基于历史事故和 revert 搭了一套评测:把仓库回放到当时 review 的状态,为每个样本准备一句话答案(bug 是什么),只有正确描述了这个 bug 的 finding 才得分;用已合并且保持稳定的改动做对照组,防止过度标记;调参用的集合和评测系统的固定测试集是分开的。
他们还把召回率分开测:原始 finding、验证后、最终 review 三个阶段各测各的。这样能看出系统是不是在后面的环节把已经找到的 bug 又弄丢了。任何把这些合成一个端到端分数的评测都测不出这种退化。
除了有效性,另一个维度是改动的重要程度。一个好的 reviewer 能抓出大部分技术上成立的问题,但人们真正关心的是:这个 bug 是必须修、应该修,还是只是个 nit。Code Review 就是这么做的,它会把 finding 标成 Important、Nit 或 Pre-existing。"Pre-existing" 的意思是:这个 bug 在你改动之前就存在,reviewer 不应该让作者背这个锅。
团队把召回率调到这样一个点就停:再往上提升,就是在过拟合 eval,而不是真的多抓 bug。
把漏掉的东西变成规则
在 Claude Code 仓库里,把漏掉的 case 变成规则有两条路。
第一条:从人工 review 评论和 PR revert 里提取模式,找出共性问题。候选规则必须至少出现在两个 PR 里,且能从 diff 里识别出来。然后由三个 Agent 尝试反驳它,最后在 PR 里由人审核批准。
第二条:把三个 bug finder 重放到一次已知事故关联的 PR 上。至少两个找到了 bug,就说明这是可检测的 bug;如果在很小的 diff 上还漏了,就值得把这条写进 REVIEW.md。
flaky 测试待遇相同。Claude 不许跳过它、不许加 sleep、不许重试到通过为止。找不到根因,就删掉这个测试,并写下为什么删。
规则本身也需要清理。测试套件、验证步骤和 .md 文件,你不管它们就会疯长,所以我们定期修剪。
好的检查,好的结果
我们的经验是:给 Agent 一条带强反馈循环的验证路径,一切都会不一样。把验证层当成任何其他系统来对待:让它够不着自己评判的改动,用你真正在意过的 bug 给它打分,漏了就写下教训,保证同类问题只发生一次,并且定期修剪这些教训,让检查本身值得一直跑。
做到这些,你的工作就从"读每一个 diff"变成"定义什么叫 done,然后审查证据"。这正是你能同时跑很多个 Claude 的原因。
参考资料
- 原文:How the Claude Code team thinks about verification(Markdown 版),作者 Addy Osmani,2026 年 11 月 16 日
- 前作:Solving code review at Anthropic
- 延伸:Building verification loops in Claude Code with skills
- 测试库:fast-check、Hypothesis、proptest
- 工具:Chrome DevTools Protocol、hooks 文档、自定义 code review(REVIEW.md)
你的 Agent 现在 commit 前靠什么验证:跑一遍测试,还是有专门的 verify skill?评论区聊聊你的做法。觉得有用点个赞。
作者: itech001
来源: 公众号:AI人工智能时代(the-ai-era)
网站: https://www.theaiera.top/
关注每日最新AI新闻和技术博客,主页有更多的文章的AI 技术参考:https://www.theaiera.top
本文为译文,版权归原作者及 claude.dev 所有;中文版本首发于 AI人工智能时代,转载请注明出处。

浙公网安备 33010602011771号