只会写用例的测试,怎么在半年内转成 Agent 测试方向
关注 霍格沃兹软件测试开发 公众号,回复「资料」, 领取人工智能测试开发技术合集
先说一个不太好听但必须面对的事实:“一天写多少条用例”这件事,正在以肉眼可见的速度贬值。
不是用例没用了,而是被测对象变了。传统功能测试的前提是“输入 A,输出必然等于 B”——确定性系统,确定性断言。但 Agent 不是。同一个提示词,两次输出措辞可能不同;同一个任务,工具调用顺序可能不一样;同一个对话,第三次的回复可能受前两轮上下文影响而“跑偏”。失效模式从“功能 Bug”变成了决策偏差、幻觉输出、权限越界、重复执行——这些问题在传统用例框架下几乎不可见。
所以转型的关键,不是学更多工具,而是换一条能力链:从“写用例”转向“定义能力边界、构建评测集、理解控制面、搭建测试 Agent” 。半年时间,足够走完这条链——前提是每一步都踩实,而不是在概念里空转。
人工智能技术学习交流群
伙伴们,对AI测试、大模型评测、质量保障感兴趣吗?我们建了一个 「人工智能测试开发交流群」,专门用来探讨相关技术、分享资料、互通有无。无论你是正在实践还是好奇探索,都欢迎扫码加入,一起抱团成长!期待与你交流!👇

先认清一件事:你已有的能力,大部分不会浪费
做了几年测试的人,最值钱的东西不是写用例的速度,是对业务不变量的敏感、对边界条件的直觉、把失败转化为可复现证据的能力。这些在 Agent 测试里不但不贬值,反而是最稀缺的。
真正要补的,是一张新的能力映射表:
你已有的
Agent 测试里对应变成
接口契约
Tool Schema、MCP 工具输入输出兼容性
数据驱动
Evaluation Dataset 与分层样本设计
日志排查
Trace / Trajectory 与工具调用归因
故障注入
模型超时、工具拒绝、重复事件
CI 集成
Agent Regression 与多目标 Quality Gate
你不是从零开始,你是把旧能力迁移到一个非确定性的新战场上。下面四个阶段,每个阶段用一个可验证的产出物来收口。没有产出物,就不算过关。
阶段一:先让一个 Agent 在你手里跑起来,而不是先学框架
产出物:一个能调用至少 1 个工具、你能完整讲清楚输入输出链路的 Agent。
很多人一上来就扎进 LangChain 文档,两周后放弃——不是因为笨,是因为框架把“Agent 到底在干什么”藏得太深了。更有效的做法是:先手写一个最小循环,再去看框架。
用你熟悉的 Python,不到 50 行,实现这样一个东西:接收用户输入 → 调 LLM → 如果模型返回 tool_call,执行对应函数 → 把结果塞回上下文 → 继续循环,直到模型输出最终回复。工具可以是最简单的“查天气”或“查数据库”,关键是你自己把 Model → Action → Observation → Model 这条链路手敲一遍。
这条链路一旦跑通,你就获得了 Agent 测试最重要的认知底座:Agent 的行为不是一段代码执行的结果,而是一个“模型决策 + 工具执行 + 上下文累积”的复合过程。后面所有测试设计,都建立在这个认知上。
工具选择上,如果偏好可视化、快速建立体感,可以用 Dify 或 Coze 拖一个工作流;如果想理解底层机制,用 LangGraph 的 StateGraph 从一个两节点的图开始。但无论选哪个,第一个 Agent 必须小到你能在脑子里完整模拟它的执行路径。不要一上来就做“全流程测试智能体”,那是阶段四的事。
这个阶段还有一个容易被忽略但极其重要的动作:用测试的视角去读 Trace。Dify 可以接入 Arize Phoenix 这类可观测层,每一次模型调用、工具调用、Chain 步骤都会被自动记录,输入、输出、延迟、元数据全部可见。你不需要写断言,先做一件事:把你的 Agent 跑 20 次,逐条看 Trace,找出“它为什么走了这条路而不是那条路” 。这是从“功能验证”切换到“行为观察”的第一步。
阶段二:学会写评测集,而不是写用例
产出物:一份属于你所在业务场景的 Agent 评测集,包含分层样本和至少 4 类指标。
这是整个转型中最像你老本行、但最需要换脑子的阶段。
传统用例的核心是“预期结果唯一”。Agent 评测集的核心是 “定义什么叫合格,而不是定义唯一答案” 。一个可用的 Agent 评测集至少包含四层:
结果层 :任务最终有没有完成?比如退款 Agent,钱有没有退到正确账户、金额对不对。
行为层 :Agent 是怎么完成的?工具调用顺序对不对?有没有跳过必要步骤?有没有在未授权的情况下调用敏感工具?
效率层 :完成一个任务花了多少时间、消耗了多少 Token?Agent 的“正确”不能以不可接受的成本为代价。
稳定性层 :同一类任务跑 10 次,成功几次?失败的那几次,是模型采样的随机性,还是工具调用的系统性问题?
构建方法上,不要从零“编”样本。从真实 Trace 里捞:把 Agent 跑起来,收集它遇到的真实用户输入、边缘场景、失败案例,保存为结构化数据集,然后用同一份数据集去对比两个 Prompt 版本、两个模型、两次代码变更的效果。Dify 生态里的 Agent Evaluator 已经提供了配置驱动的评测框架,支持 Dify、Coze、LangGraph 等平台的统一评估,底层基于 Ragas 的指标,输出 HTML/CSV 报告。你不需要自己从头造轮子,但必须亲手设计指标和样本分层——这才是测试工程师不可替代的部分。
一个具体的练习:选一个你熟悉的业务 Agent,写一份 eval_dataset.json,包含 20 条样本,每条标注 expected_outcome、must_call_tools、forbidden_tools、max_latency_ms。然后跑两版 Prompt,输出一份“版本 A vs 版本 B”的对比报告。这份报告就是你转型的第一个硬通货。
阶段三:理解控制面——为什么生产级 Agent 不能是一个“自由循环”
产出物:一份对你所测 Agent 控制面机制的分析文档,标注出至少 3 个测试介入点(interrupt / checkpoint / 权限边界)。
这是传统测试最容易忽略、但 Agent 测试最拉开差距的一层。
一个纯自由的 Agent Loop 长这样:while not finished: response = model(messages) → 执行工具 → 继续。它灵活,但进入生产环境后,四个问题立刻暴露:Agent 当前执行到哪一步?哪些步骤不能跳过?一个节点最多允许重复多少次?服务重启后怎样继续?什么时候必须让人确认?
生产级 Agent 的答案是状态机控制面。以 LangGraph 为例,核心抽象是 State、Node、Edge、Conditional Edge,再加上 Checkpoint(状态快照)、Interrupt(中断)、Resume(恢复)和 Human-in-the-Loop。任务的状态不再藏在 messages 列表里,而是被显式建模为结构化字段;执行可以在指定节点前暂停,等人审查或修改后再继续;checkpoint 让服务重启后能从断点恢复,而不是从头再来。
这对测试意味着什么?你的断言对象从“最终输出”扩展到了“状态迁移路径” 。你可以测:
在某个 Node 之前触发 interrupt,验证人工审批后流程是否正确 resume;
注入一次工具超时,验证 Agent 是否走了 fallback 分支而不是无限重试;
检查 checkpoint 中的数据是否包含不该持久化的敏感信息;
验证权限边界:某个工具在特定状态下是否被禁止调用。
更进一步,你需要理解 MCP 与 Skill 的分层。MCP 负责“Agent 能不能连上工具和数据源”,Skill 负责“Agent 知不知道在什么条件下、按什么顺序、用这些工具把事情做对”。测试控制面,本质上就是在测这两层之间的契约:工具暴露的 schema 是否和 Skill 的假设一致?Skill 的错误处理逻辑在工具返回异常时是否生效?
如果你测的 Agent 跑在 Dify 或 Coze 上,控制面分析同样成立:看工作流的节点拓扑、条件分支、变量传递、异常兜底路径。Coze 的节点监控和 coze_debugger_mcp 能把工作流 trace 导出为标准化 trace.json,这就是你做控制面断言的原材料。
阶段四:独立搭一个“测试 Agent”,而不是再写一套脚本
产出物:一个能接收测试任务、调用测试工具、输出结构化评测报告的最小测试 Agent,接入 CI 或至少能一键运行。
走到这一步,你已经有 Agent 的运行认知、评测集的设计能力、控制面的分析框架。现在把它们反过来用:不是测别人的 Agent,而是用 Agent 来辅助测试。
一个可用的测试 Agent 不需要复杂,但架构上必须包含四个模块:
任务理解与规划:接收自然语言描述的测试目标,拆解成可执行的步骤;
测试工具集:API 调用、数据库查询、UI 操作、日志检索——用 MCP 或 LangChain Tool 封装成标准接口;
执行与观察:调用工具、捕获结果、记录 Trace;
分析与报告:根据评测指标生成结构化结论,而不是丢回一段自由文本。
工具选型上,如果你在前面已经熟悉了 Dify,可以直接用 Dify 工作流编排:把“用例生成 → 执行 → 语义校验 → 报告”串成节点,已有团队用这种方式把 3 天的人工回归压缩到 45 分钟。如果你想要更底层的控制,用 LangChain 的 Agent + 自定义 Tool 从零搭建,把 APITestTool、DBQueryTool、TraceAnalyzerTool 逐步注册进去。
但请注意:这个阶段最容易掉进的坑,是把它做成一个“聊天玩具” 。一个测试 Agent 和聊天机器人的分水岭在于:它是否输出可判定、可复现的证据。你的 Agent 跑完之后,产出的不应该是一段“看起来合理”的总结,而应该是一份包含 通过/失败条目、失败归因(模型采样 / 工具异常 / 上下文污染 / 权限拒绝)、Trace 引用和成本数据的报告。如果做不到这一点,回去补阶段二的评测集设计。
最后说一句实在话:半年转成 Agent 测试方向,靠的不是“学完了”,而是“有东西可以拿出来”。 一份你亲手建的评测集、一份控制面分析文档、一个能跑的测试 Agent,比简历上写十个框架名字都有说服力。你的老本行没有作废——它只是需要一个新的载体。这个载体,就是你自己搭出来的那套东西。
推荐学习
🔥 推荐这节公开课:用jev决策模型提速App测试智能体,实现10倍速度提升。
不讲空概念,直接拆:App测试智能体的工具与技能、jev/laya决策模型怎么用、Token压缩和知识图谱召回怎么降本、断言体系怎么设计。
做AI测试、Agent落地的同学别错过。扫码进群,锁定席位!

关于我们
霍格沃兹测试开发学社,隶属于 测吧(北京)科技有限公司,是一个面向软件测试爱好者的技术交流社区。
学社围绕现代软件测试工程体系展开,内容涵盖软件测试入门、自动化测试、性能测试、接口测试、测试开发、全栈测试,以及人工智能测试与 AI 在测试工程中的应用实践。
我们关注测试工程能力的系统化建设,包括 Python 自动化测试、Java 自动化测试、Web 与 App 自动化、持续集成与质量体系建设,同时探索 AI 驱动的测试设计、用例生成、自动化执行与质量分析方法,沉淀可复用、可落地的测试开发工程经验。
在技术社区与工程实践之外,学社还参与测试工程人才培养体系建设,面向高校提供测试实训平台与实践支持,组织开展 “火焰杯” 软件测试相关技术赛事,并探索以能力为导向的人才培养模式,包括高校学员先学习、就业后付款的实践路径。
同时,学社结合真实行业需求,为在职测试工程师与高潜学员提供名企大厂 1v1 私教服务,用于个性化能力提升与工程实践指导。

浙公网安备 33010602011771号