霍格沃兹测试开发学社

《Python测试开发进阶训练营》(随到随学!)
2023年第2期《Python全栈开发与自动化测试班》(开班在即)
报名联系weixin/qq:2314507862

校招简历加分:用Agent评测项目从Trace到发布门禁完整复现

关注 「软件测试就业联盟」公众号,陪你走好校招求职的每一步

LangChain官方LangSmith文档把Agent评测区分为离线数据集评测与线上Trace评测,并提供人工、规则与模型评审等方式。本文借用这一公开方法设计教学项目,不是LangChain官方校招题,也不声称项目数据来自生产环境。

目标很明确:做一个退款查询Agent。它接收用户问题,提取订单号,调用本地Mock工具,返回退款状态。真正的项目亮点不是聊天页面,而是证明它在缺信息、越权、超时和状态冲突时不会胡乱回答。

先写规则

业务规则只保留五条:必须有订单号;订单属于当前用户;状态只能来自工具;工具失败不得猜测;查询不允许触发写操作。把规则写成机器可读用例:输入、用户身份、工具桩、预期工具、禁止行为、预期状态。

{
"case_id": "refund_timeout_01",
"user_id": "u100",
"message": "查一下订单A9的退款",
"tool_fixture": {"status": "timeout"},
"must_call": ["get_refund"],
"must_not": ["create_refund"],
"expected_stop": "ask_retry"
}
模块与Trace

项目分成五个模块:cases管理样本;agent处理对话;tools提供可控Mock;trace记录步骤;eval执行规则和语义评审。每次运行生成JSONL,至少包含模型版本、提示词哈希、工具名、参数、参数来源、返回、最终回答、时延和Token。

Trace不要记录模型私密思维链,只记录可观察动作和必要理由。这样既能定位问题,也避免把不可控内部推理当成测试接口。

断言与故障注入

确定性断言检查订单归属、工具名、调用次数、状态一致性和禁止写操作。语义评审只回答两三个布尔问题,例如“是否说明当前无法取得真实状态”“是否给出下一步”。先人工标十条样本,再看模型评审与人工分歧。

故障注入至少做四种:超时、空返回、错误状态、首次成功但响应丢失。最后一种验证Agent会不会重复调用。每个失败保存原因码,修复后进入回归集。

def test_no_guess_when_tool_timeout(run_case):
trace = run_case("refund_timeout_01")
assert trace.tool_calls == 1
assert trace.write_calls == 0
assert trace.stop_reason == "ask_retry"
assert "已到账" not in trace.answer
最终报告

报告不要只放通过率。至少展示按风险切片的结果、一个完整失败Trace、一次修复前后对比、Token与时延,以及尚未解决的边界。设三条门禁:越权与写操作零容忍;核心场景不得比基线退化;成本不能超过预算。

常见错误是只做漂亮前端、直接让另一个模型打分、没有固定工具返回、修复后不回归。正确的修复过程应该能回答:问题在提示词、工具Schema、权限还是断言;改动有没有引入新失败。

简历句与面试追问

简历可以写:“设计并实现退款查询Agent评测项目,构建分层样本与JSONL Trace,使用确定性断言、校准后的语义评审和故障注入验证工具路径、权限及失败恢复,并建立基于风险的发布门禁。”

准备回答:为什么不用总分?为什么不记录思维链?Judge不稳定怎么办?工具已经成功但超时如何避免重复?线上样本如何脱敏?如果面试官继续追问,说明这个项目不只是调用API,而是有可解释的质量闭环。

一周复现计划

第一天只写规则与十条样本,不接模型;第二天完成Mock工具和三种固定返回;第三天让Agent跑通正常链路并生成Trace;第四天写确定性断言;第五天加入超时与响应丢失;第六天校准语义评审;第七天生成报告和演示。

每一天都要能单独提交,Commit说明写清新增能力与验证方式。这样即使最后模型接口临时不可用,仓库仍能用录制Trace运行评测。可离线复现是校招作品的加分项,也能证明你理解测试系统不能完全依赖外部服务。

结果怎样展示才可信

README首页放项目目标、架构图和一条失败示例,不要先放聊天截图。结果表按正常、权限、工具故障和一致性四类展示;每类写样本数、通过数和主要失败原因。教学项目数字必须标明来自本地实验,不能写成线上效果。

选择一个真实修复过程:例如Agent在工具超时后猜测“处理中”。展示原Trace、失败断言、修改内容和修复后Trace,再补一条相邻正常用例证明没有过度追问。面试官由此能看到诊断能力,而不是只看到最终代码。

边界写出来反而更专业

说明项目没有连接真实订单、没有验证高并发、语义评审样本少、不同模型可能得到不同结果。再列下一步:加入权限服务、做评审器一致性、接入CI、对生产样本做脱敏。明确边界不会削弱项目,反而避免把Demo夸成生产系统。

如果时间有限,优先保证样本、Trace、断言和修复闭环完整,不必做复杂前端。测试开发岗位更关心你如何把不确定行为变成可观察证据,以及面对失败时怎样找到首个偏离点。

想及时获取2027届秋招第一手招聘消息、岗位汇总和内推信息,可以扫码加入秋招交流群。

image

关于我们

霍格沃兹测试开发学社,隶属于 测吧(北京)科技有限公司,是一个面向软件测试爱好者的技术交流社区。

学社围绕现代软件测试工程体系展开,内容涵盖软件测试入门、自动化测试、性能测试、接口测试、测试开发、全栈测试,以及人工智能测试与 AI 在测试工程中的应用实践。

我们关注测试工程能力的系统化建设,包括 Python 自动化测试、Java 自动化测试、Web 与 App 自动化、持续集成与质量体系建设,同时探索 AI 驱动的测试设计、用例生成、自动化执行与质量分析方法,沉淀可复用、可落地的测试开发工程经验。

在技术社区与工程实践之外,学社还参与测试工程人才培养体系建设,面向高校提供测试实训平台与实践支持,组织开展 “火焰杯” 软件测试相关技术赛事,并探索以能力为导向的人才培养模式,包括高校学员先学习、就业后付款的实践路径。

同时,学社结合真实行业需求,为在职测试工程师与高潜学员提供名企大厂 1v1 私教服务,用于个性化能力提升与工程实践指导。

posted @ 2026-11-12 10:32  霍格沃兹测试开发学社  阅读(9)  评论(0)    收藏  举报