导语

Agent火了，但怎么评测Agent却成了难题。普通大模型可以用客观题跑分，Agent是多步决策、工具调用、动态交互的系统，单一分数根本无法衡量其真实能力。Anthropic公开的Agent评测方法论，系统地回答了"如何科学评估智能体"这个问题。本文精读其核心设计思路。

一、Agent评测为什么难

评测普通大模型，本质是"出题-答题-判分"的闭环。而Agent评测要复杂得多：

1. 过程比结果重要
Agent不仅要完成任务，还要看完成得好不好：步骤是不是最优、调用工具有没有浪费、出错了会不会修正、规划合不合理。同样完成任务，优秀Agent和蹩脚Agent的过程天差地别。

2. 状态空间巨大
Agent每一步决策都会影响后续状态，可能的执行路径数量是爆炸式的。不可能枚举所有情况，评测抽样的代表性很重要。

3. 失败原因多样
任务失败可能是模型推理不行，可能是工具调用错了，可能是参数传错了，也可能是错误恢复能力差。笼统的"成功率"指标没有指导意义。

4. 与环境强耦合
Agent表现和工具集、环境设定高度相关。换一套工具，分数可能完全不同，横向对比困难。

正因为这些难点，很多Agent评测流于表面：跑几个示例任务，看成功率。这样的评测结果参考价值很低。

二、评测维度设计：从单维度到多维度

Anthropic的方法论核心是多维度拆解评估，不追求一个总分，而是从多个维度分别打分。

维度一：任务完成度（Task Completion）
最基础的指标：任务最终有没有成功完成。通常用成功率表示。
但这只是入门指标，不能只看成功率。

维度二：规划能力（Planning）
评估Agent对任务的拆解是否合理、步骤是否清晰、优先级是否正确。

  • 会不会把大任务拆成合适的子任务；

  • 会不会预判潜在问题；

  • 执行路径是不是最优。

维度三：工具使用能力（Tool Use）
评估Agent调用工具的正确性与效率。

  • 工具选择是否准确；

  • 参数传递是否正确；

  • 会不会组合使用多个工具；

  • 是否存在无效调用、重复调用。

维度四：错误恢复能力（Error Recovery）
这是Agent成熟度的关键指标。遇到工具调用失败、返回结果异常、执行出错时，Agent能不能自我修正、换一种方式重试。
优秀的Agent具备容错能力，蹩脚的Agent一遇到错误就卡住或跑偏。

维度五：执行效率（Efficiency）
完成同样的任务，用了多少步、调用了多少次工具、花费了多少时间。效率直接决定实际使用成本。

维度六：安全性与合规性（Safety）
执行过程中会不会产生危险操作、会不会泄露敏感信息、会不会越权。能力越强的Agent，安全越重要。

三、评测数据集构建原则

评测结果好不好，数据集设计是关键。Anthropic提出几条核心原则：

1. 真实任务导向
尽量使用真实世界的任务场景，而不是人工编造的玩具题。玩具任务上分数再高，落地也可能不好用。

2. 难度分层
数据集要有清晰的难度梯度：简单、中等、困难。不同难度考察不同层级的能力。

  • 简单任务：单工具、单步调用，考察基础工具使用；

  • 中等任务：多步骤、多工具，考察规划与组合能力；

  • 困难任务：有陷阱、有错误、需要变通，考察错误恢复与应变能力。

3. 包含失败分支
故意设计一些会出错的场景，比如工具返回异常、接口报错、数据缺失。专门测试Agent的错误处理能力。

4. 避免数据泄露
确保评测任务没有出现在训练数据里。否则就是考背答案，不是考能力。

四、自动评测与人工评测的校准

自动评测效率高、成本低，但只能衡量客观可量化的维度。对于规划合理性、策略优劣等主观维度，还是需要人工评估。

Anthropic的做法是：

  1. 用自动评测跑大量样本，得到客观指标；

  2. 抽取一定比例的样本做人工评测，从人的角度打分；

  3. 分析自动指标和人工打分的相关性，校准自动评测体系；

  4. 如果某个自动指标和人的感受相关性差，就调整或废弃。

核心观点：任何自动评测指标，都必须和人工评测做相关性校准。不校准的分数没有意义。

五、对开发者的实践启示

  1. 不要迷信单一Benchmark分数：Agent能力是多维的，一个数字说明不了问题；

  2. 建立自己的评测集：针对自身业务场景构建评测任务，比通用评测集有价值得多；

  3. 过程日志很重要：保存Agent每一步的执行日志，不仅用于调试，也用于评测分析；

  4. 定期人工抽检：自动化跑批+人工抽样评估，是最可靠的评测方式；

  5. 关注失败原因：分析失败案例比看成功率更有价值，能精准定位Agent的短板。

结语

Agent评测是Agent技术走向成熟的必经之路。没有科学的评测方法，就无法量化进步、无法对比优劣、无法指导优化。Anthropic的方法论，核心就是一句话：把Agent当一个系统来评估，而不是当一个模型来跑分。多维度、重过程、看实效，才是Agent评测的正确姿势。