什么是评测驱动开发 EDD:如何改进 AI Agent
什么是评测驱动开发 EDD:如何改进 AI Agent
译者按:本文译自 LangChain 博客 What Is Eval-Driven Development? How to Improve AI Agents,作者 Divya Santhanam,发布于 2026 年 11 月 9 日。为便于中文阅读,术语保留英文原词;原文中的界面截图未附,不影响理解。版权归原作者及 LangChain 所有。
大多数 Agent 的开发都从同一个套路开始:写一段 prompt,手动试几个问题,改一改,再试一次。在项目早期,这套做法效果不错——Agent 出错很明显,改进了也一眼能看出来。但时间一长,你就越来越难判断,最近这次改动到底让 Agent 变好了还是变坏了。
评测驱动开发(Eval-Driven Development,EDD)解决的就是这个问题:它给你一组一致的指标,用来衡量 Agent 的表现并指导决策。在 LangChain,我们用 EDD 构建了最先进的那些 Agent(参见我们关于 IssueBench 的文章),并把整个流程浓缩成三步:
- 定义你的 Agent 怎样算好。
- 先写评测,再动手构建。
- 做改动,然后对比。
本文会逐步拆解这个流程,方便你的团队把它套用到自己的 Agent 开发中。
要点
- 评测驱动开发(EDD)指的是:在构建 Agent 的同时,用一套一致的指标衡量它的表现,并朝着 eval 不断"爬山"。
- EDD 的第一步,是为你想实现的行为写一份简短的规格说明,写清"好"长什么样。规格里要包括 Agent 不该做什么,以及哪些行为必须保持可用。
- 迭代时,通过对比实验来判断你对 Agent 的某次改动。修好一个用例的改动,可能弄坏另一个用例。
- 让 eval 持续跑在 CI 和生产环境中,并把发现的失败转化为新的数据集样本。
什么是评测驱动开发?
EDD 这个名字和概念借自测试驱动开发(TDD)——先写一个会失败的测试,再写能让它通过的代码。但 Agent 和传统代码不一样,它是非确定性的:
- 输出会变。 同一个问题,每次运行可能得到不同的回答。
- 正确答案不止一个。 两个自然语言结果表述不同,但都可以算对。
- Agent 自己选择步骤。 它可能调用了一个不需要的工具,或者跳过了一个本该用的工具,最后仍然得到正确答案。
因此,Agent 需要另一种测试。eval 的方式是:让 Agent 在一组样本上运行,并对每次运行打分。eval 比传统测试更灵活——你可以给运行的任何方面打分,也可以让其他 LLM 来打分(即 LLM-as-a-judge)。
在 EDD 里,和 TDD 一样,这些 eval 构成了你对"成功"的定义,你朝着它们构建 Agent。
第一步:定义你的 Agent 怎样算好
EDD 的第一步,是定义你的 Agent 应该做什么,然后列出它要达成这个目标需要处理哪些行为。这些行为可能是:从知识库回答问题、代表用户执行某个操作,或者知道什么时候该追问。为每个行为写下需求,合起来就构成这个 Agent 的产品需求文档(PRD)。
EDD 一次只处理一个行为。这样你有一个很窄的目标可以爬山,不会因为一个改动干扰另一个改动的效果。你选的行为通常来自即将开发的功能,或者你在 Agent 过往运行中发现的失败。写代码之前,先定义一份简短的规格说明会很有帮助,它要覆盖:
- 这个行为应该在什么时候发生
- Agent 应该做什么
- Agent 不应该做什么
- PRD 里哪些行为必须保持可用
规格说明要足够明确,能直接判定通过或失败。
假设我们有一个内部文档 Agent,员工用它查询公司信息。它有两个工具:search_docs 查内部文档,web_search 查其他内容。我们打算新增一个 create_ticket 工具,让它能提交 IT 工单。规格说明是这样的:
- 何时:用户报告某样东西坏了,比如"我的笔记本连不上 VPN。"
- 应该:调用
create_ticket。 - 不应该:为"怎么做"类问题提交工单,比如"我该怎么连接 VPN?"
- 保持可用:
search_docs和web_search仍然处理它们今天处理的问题。
即使 Agent 目前还没有这个能力,我们也会基于这些准则来评测。
第二步:先写评测,再动手
构建数据集
dataset(数据集) 是一组测试用例(称为 example),每个用例有输入,也可以有参考的"golden"输出。输入最好的来源之一,就是 Agent 的真实运行记录。用户表达的方式常常出乎你的预料,他们的请求里也包含你自己想不出来的边界情况。如果你的样本看起来像真实流量,那么 eval 拿到好分数,更有可能意味着生产环境里表现也好。在 LangSmith 里,你可以直接把真实运行记录加进数据集。如果还没有任何运行记录,常见的替代做法是从零构造样本。
对我们的文档 Agent 来说,少量样本就够开始了。数据集里会包含工单请求,也会包含那些仍应交给 search_docs 和 web_search 的问题,从而把现有行为也纳入考核。
每个样本把一个输入问题和一个参考输出配对,参考输出就是 Agent 应该调用的工具。
你也可以扩展数据集,覆盖目前还没有的情况。比如我们手头没有多少"愤怒用户"的样本,可以把现有样本交给 LLM,让它改写成更生气的消息,再检查 Agent 是否仍然调用正确的工具。
写评估器
有了数据集,你就可以把 PRD 里对"好"的定义,变成给样本打分的测试或 eval。写评估器时要选合适的打分方式:检查是确定性的,就用 code eval;不是确定性的,就用 LLM-as-a-judge。你还要想清楚:看 Agent 的最终答案、看它为达成答案执行的某个动作,还是看别的东西?
对我们的文档 Agent,我们要看它调用了哪些工具,验证每个用例是否用了正确的工具。工具选择很容易用代码检查,所以可以用 code eval,检查每个样本是否调用了其参考输出中列出的工具。
只要 Agent 调用了参考输出里的工具,这个样本就算通过。
我们的文档 Agent 是一个带少量特定功能的简单聊天机器人。Agent 越复杂,你的 eval 套件大概率也需要跟着变化。如果 Agent 会在环境里造成改动——比如沙箱里的编码 Agent——只检查几次工具调用和最终回复就不够用了。你需要检查 Agent 在系统里留下的状态,而且每次运行都需要一个干净的环境,避免一次运行影响下一次。
Harbor 就是一个用于在这类任务上运行 Agent 的开源框架,它也是 Terminal-Bench 等行业基准背后的测试装置。每个任务在自己的沙箱里运行,并自带一个给最终状态打分的测试脚本。
针对 Terminal-Bench 这类基准做优化,走的是和 EDD 相同的循环:先写任务和测试,跑一个基线,然后在改动 Agent 时对比实验。我们在构建 LangSmith Engine 时,用真实和合成的 Agent 运行记录自建了一个基准,并把它当作 Harbor eval 来跑。我们也用 Harbor 来给 Deep Agents 做基准测试:它能告诉我们,是否可以砍掉 harness 的某些部分——比如待办清单中间件或部分系统提示词——而不让 Agent 变差。
跑基线
无论你怎么构建数据集和评估器,都可以让 Agent 在每个样本上跑一遍,并把结果作为一次 experiment 记录到 LangSmith。experiment(实验) 是 Agent 在数据集上的一次完整运行,每个样本的输入、输出和评估器分数都保存在同一条记录里。有了集中式的系统,你就能把不同 Agent 版本的结果拿来对比。在对 Agent 做任何改动之前,一定要先跑一次基线实验,作为后续比较的基准。
在我们的文档 Agent 上,数据集里的工单样本会得到失败分数,因为工具还不存在。其他样本则记录了当前已经能正常工作的行为,方便你之后判断:新增工具是否弄坏了别的东西。
第三步:做改动,然后对比
现在,我们实现 create_ticket 工具,再跑同一套 eval。
记住,EDD 是一个朝着 eval "爬山"(hill-climbing) 的过程。爬山意味着重复"改进 Agent"的循环——评测、对比、调整——从而建立一个有客观证据支撑的改进闭环。Agent 之后的每次改动都对应一个新的 experiment,每个 experiment 都与上一次对比,以验证是否进步。在 LangSmith 里,同时选中两个 experiment 就能打开对比视图,它会并排展示每个样本的分数,让你看清哪些变好了、哪些退化了。
对比 experiment 时,重要的是不只看平均分的变化,还要看有没有回归,有没有覆盖掉原本正常的行为。在我们的文档 Agent 上,工单样本现在通过了。但"我该怎么连接 VPN?"现在会提交工单,而不是去查文档。平均分涨了,但有一个用例坏了。
查看 trace 是理解 eval 为什么失败的最好方式。trace(追踪记录) 是一次 Agent 运行的完整记录,包括每一次模型调用和工具调用。在 LangSmith 里,用任意框架构建的 Agent 都可以做 tracing(详见 tracing 快速上手)。
打开最新实验里失败的那条 trace,我们会看到工具描述写的是:遇到"VPN 和笔记本问题"就使用 create_ticket。于是任何提到 VPN 的问题都会命中这个工具,覆盖了基线里原本正常的行为。
trace 告诉我们,工具描述太宽泛了,所以 Agent 会为一个文档就能回答的问题去提交工单。
解决办法是把工具描述收窄到"需要 IT 介入处理的请求"。改完再跑一次 eval,现在所有样本都通过了。
小数据集上拿到满分是个好信号,但 100% 并不总是正确的目标。我们是在盯着这些具体样本的情况下调整工具描述的。如果你一直调到每个样本都通过为止,Agent 可能开始过拟合数据集,而不是学会你真正在意的行为:它能通过你的 eval,却仍然漏掉那些用你没覆盖的说法提出的请求。要检查这一点,可以留一组留出集(held-out set),迭代时不看它。如果你调参用的样本分数涨了,留出集上的分数却没动,那大概率已经过拟合了。
多步 Agent 可能在任意一步失败,所以 LangSmith 允许你评测的不只是最终答案:你可以给单个步骤打分、给完整的工具调用序列打分,或者把多轮对话按 thread 分组后打分。
上线之后继续跑 EDD
自动化评测
当你开始更快地部署改动时,很容易漏跑 eval,或者把旧样本弄丢。把自动评测接进工作流,可以挡住未经测试的改动,并在上线前抓住回归。
构建 eval 套件的最佳策略取决于你的具体环境。跑得快的 code check 可以拦住一次糟糕的合并;较慢的、带 LLM judge 的 eval 可以每晚跑一次,或在发布前跑。迭代时用 dataset split 只跑你正在处理的那个行为的样本,发布前再跑全量。
LangSmith 与 pytest 和 Vitest 集成,所以 eval 可以放在代码旁边,在每个 pull request 上运行。每次运行都记录为一次 experiment,结果和其他内容在同一个地方查看。
在生产环境评测
部署 Agent 之前,你的数据集大概率只覆盖了你在开发中想到要测的情况。在生产环境里,你可以用下面这些评测方法来标记其余部分:
- Online evaluators(在线评估器):对流入的实时 trace 打分。你可以给 tracing 项目挂上 code check 和 LLM judge,并对一部分流量采样以控制成本。
- Annotation queues(标注队列):让团队人工复核被标记的运行。它也是你在依赖某个 LLM judge 之前,验证它与人工评分是否一致的方式。
- Dashboards(仪表盘):跟踪 eval 分数、反馈、成本和延迟随时间的变化,看清一次发布是让事情变好还是变坏。
- Insights:把生产 trace 聚类,帮你在成千上万次运行中发现新的模式。
- LangSmith Engine:更进一步,把问题聚类直接变成带 assertion 的数据集样本,供你复核。
我们也把 Deep Agents 使用的 eval 发布在它的仓库里,你可以看到一个真实的生产级 eval 套件长什么样。
常见错误
- 把成功定义得太松。 前期多花点力气,把成功定义清楚,让 eval 能轻松判通过或失败。"回答有帮助"不是一个定义良好的指标。
- 先修好再写 eval。 一旦你已经看到新的输出,很容易写出一个"设计上必然通过"的 eval。要先写,并确认它在当前有问题的版本上确实失败。
- 只看平均分。 平均分的提升可能掩盖了退化的样本,或覆盖掉原本正常的行为。决定保留一次改动前,逐个样本看一遍。
- 加不需要的 eval。 每个 eval 都会把 Agent 往某个方向推。让每个 eval 都对应一次具体改动,比如你正在修的失败,或你即将开发的功能。
- 信任没校验过的 judge。 先把你 LLM judge 的打分和人工打分对比。问它更窄的问题,用通过/失败,而不是模糊的 1 到 10 分制。
想了解更多 Agent eval 的构建方法,可以看这场 Agent Evals 101 网络研讨会,以及我们在 LangChain Academy 上免费的 LangSmith 课程。
延伸阅读
参考资料
- 原文:What Is Eval-Driven Development? How to Improve AI Agents
- 作者:Divya Santhanam,2026 年 11 月 9 日
- 相关:LangSmith 评测快速上手、Harbor、Deep Agents evals
你团队的 Agent 改动现在靠什么判断好坏——人肉看几条轨迹,还是有固定的 eval 集?评论区聊聊。觉得有用点个赞。
作者: itech001
来源: 公众号:AI人工智能时代(the-ai-era)
网站: https://www.theaiera.top/
关注每日最新AI新闻和技术博客,主页有更多的文章的AI 技术参考:https://www.theaiera.top
本文为译文,版权归原作者及 LangChain 所有;中文版本首发于 AI人工智能时代,转载请注明出处。

浙公网安备 33010602011771号