霍格沃兹测试开发学社

《Python测试开发进阶训练营》(随到随学!)
2023年第2期《Python全栈开发与自动化测试班》(开班在即)
报名联系weixin/qq:2314507862

你的测试 Skill 库,三个月后是资产还是负债?看有没有这四条维护规则

关注 霍格沃兹软件测试开发 公众号,回复「资料」, 领取人工智能测试开发技术合集

三个月前我们组开始往 AI 测试助手里灌 Skill,一开始挺兴奋,把需求分析、用例设计、接口断言、缺陷排查挨个写了一遍,攒了二十多条。第一个月效果确实好,AI 跑回归的时候能自己按流程走,断言也知道要查数据库。第二个月开始有点不对劲,偶尔冒出来一些莫名其妙的失败,查半天发现是 Skill 里写的某个接口路径早就改了。第三个月我打开那个 Skill 目录看了一眼,说实话有点心凉——二十多条里,我敢说还在正确工作的不超过一半,剩下的要么过期了没人改,要么被模型用在了不该用的地方,要么里面写着一堆“全面验证”“充分检查”这种等于没说的话。

这事让我想明白一个道理:Skill 库不是建起来就完了,它跟代码一样会腐化,而且腐化得更隐蔽——代码过期了会编译报错,Skill 过期了它照样跑,只是跑出来的结果是错的,你还未必看得出来。三个月时间足够让一个精心搭建的 Skill 库从资产变成负债。区别就在于你有没有在维护上做四件事。

第一条:每条 Skill 都要写清楚“什么时候不该用”
这是我踩的第一个坑,也是最疼的一个。

最早写 Skill 的时候,我只想着“这个 Skill 是干什么的”,写了个 trigger 条件就完事了。比如有一条接口测试的 Skill,trigger 写的是“当任务涉及接口测试时触发”。听起来没毛病对吧?结果有一次让 AI 做 UI 自动化,它跑到一半突然调了个 HTTP 请求工具去查接口返回值,我问它为什么,它说“因为你说要做登录流程的测试,登录流程涉及接口测试,我触发了 login-api-test 这条 Skill”。

问题就出在这。你只告诉它什么时候该用,没告诉它什么时候不该用,它就会在所有沾边的地方都用。 后来我给每条 Skill 都加了一个 when_not_to_use 字段,明确写清楚排除条件。上面那条就改成了:

trigger: 当任务明确要求测试HTTP接口的请求/响应行为时触发
when_not_to_use:
-任务是UI层面的端到端流程测试(用e2e-ui-test)
-任务是性能压测(用perf-test)
-任务只涉及数据库查询验证(用db-check)
加了这段之后,AI 用错 Skill 的概率肉眼可见地降下来了。这个字段看起来像是废话,但它是 Skill 库能不能被信任的第一道闸门。一条只写“何时用”的 Skill,等于一把没有保险的枪。

第二条:断言必须是二元的,出现“全面”“充分”就删掉重写
Skill 腐化最快的地方,往往不是逻辑过时,而是里面藏着一堆没法判断对错的废话。

我翻自己三个月前写的 Skill,发现好多条里都有这种句子:“对接口返回结果进行全面验证”“确保数据一致性得到充分保障”“检查系统行为是否符合预期”。当时写的时候觉得挺对,现在看全是空的。什么叫“全面”?什么叫“充分”?模型每次理解都不一样,今天它查了三个字段觉得全面了,明天它查了一个字段也觉得全面了。

后来我给自己定了个规矩:Skill 里每一条 check,必须能回答“怎么判断这条做到了没有”,回答不了的就删掉重写。 “全面验证返回结果”改成“验证 HTTP 状态码等于 200 且业务码等于 0 且 response.data.userId 非空且数据库中 users 表该手机号对应记录的 status 字段等于 1”。“充分保障数据一致性”改成“下单前后分别查一次库存表,确认库存数减少了恰好等于订单商品数量”。

这个改动听起来很琐碎,但它带来的差别是本质性的。二元断言的 Skill 跑一百次结果一致,模糊断言的 Skill 跑一百次有一百种“通过”的方式,其中大概三十种是漏了 bug 还告诉你一切正常。 你翻翻自己的 Skill 库,如果里面“全面”“充分”“确保”“检查是否合理”这类词出现超过五次,那这个库大概率已经在腐化了。

第三条:给每条 Skill 标一个保质期,到期强制复审
我们组有个接口,三月份的时候还是“手机号 + 短信验证码”登录,五月份产品改成了“手机号 + 密码 + 图形验证码”,六月份又加了个“异地登录二次验证”。登录接口的 Skill 我四月份改过一次,五月份那次改动我忘了,结果整个五月 AI 跑登录相关用例全是误报——它还在按短信验证码的逻辑去构造请求。

这不是我懒,这是人性。业务在变,Skill 不会自己跟着变,而你每天被新需求追着跑,根本想不起来回头看一眼三个月前写的那条 Skill 还对不对。

后来我们加了个很土但很管用的机制:每条 Skill 头部必须写 last_reviewed 日期和 review_interval(默认 30 天),到期的 Skill 在 Harness 加载时打一个警告日志,每周五下午统一过一遍本周到期的 Skill,确认还能用就更新日期,不能用就改或者删。 听起来像形式主义,但自从有了这个机制,上面那种“接口改了 Skill 没改”的事故再没出过。

关键是复审的时候不能只扫一眼觉得“应该没问题”。我们的做法是拿最近一周的真实测试任务跑一遍这条 Skill,看输出跟人工判断是否一致。花不了十分钟,但比出了线上事故再回头查便宜太多了。

顺便说一句,Skill 过期了不可怕,可怕的是过期了还静悄悄地跑。 宁可让一条 Skill 到期后被禁用、逼着人去复审,也不要让它带着过时的逻辑继续“工作”,因为后者产出的结果比没有结果更有害——你会基于一个错误的通过结论放心上线。

第四条:每条 Skill 必须有主人,没人认领的就删掉
这条规则最不技术,但可能是四条里最重要的。

我们组最早建 Skill 库的时候是大家一起往里写的,谁有想法谁加一条。三个月后我打开目录,大概有七八条 Skill 我完全想不起来是谁写的、为什么要这么写、里面那个奇怪的 retry: 5 到底是当初为了绕开什么坑。没人认领的 Skill 就是没人维护的 Skill,没人维护的 Skill 就是定时炸弹。

现在的规矩是:每条 Skill 文件头部必须写 owner 字段,一个人名,不能是“测试组”这种集体名词。 Owner 负责这条 Skill 的复审、修改和下线。如果一个人离职或者转岗了,他名下的 Skill 必须在两周内转交给别人或者删除。每季度末清一次,找不到主人的一律删掉,哪怕看起来还在正常工作——因为你不知道它明天会不会突然出错,而出错的时候没人能修。

这个规则刚开始推的时候有人觉得太严了,“这条 Skill 挺好的删了可惜”。我跟他们说:一条你不知道为什么能工作的 Skill,跟一条你不知道为什么报错的 Skill,危险程度是一样的。 前者给你虚假的安全感,后者至少还让你警觉。宁可少几条能用的,不要多几条没人管的。

说在最后
回头看这三个月,我最大的感受是:写 Skill 这件事本身不难,难的是让 Skill 库在三个月后还值得信任。二十多条 Skill,写的时候花了两周,维护花的精力大概是写的三倍,而且这个投入是持续的、不会停的。

但我觉得值。因为一个维护得好的 Skill 库,本质上是你团队质量判断力的外化——新人来了不用从头踩坑,AI 干活的时候不用每次重新教,你休假的时候那些规矩还在替你盯着。反过来,一个没人维护的 Skill 库,三个月后就是一堆没人敢信也没人敢删的东西,占着位置,制造着虚假的“我们已经有 AI 测试能力了”的幻觉。

四条规则再重复一遍:每条都写清楚什么时候不该用;断言必须二元可判;标保质期到期强制复审;每条必须有活人主人。 都不复杂,难的是坚持做。你要是刚开始建 Skill 库,现在就把这四条写进你的流程里,三个月后你会感谢自己。你要是已经建了三个月,今晚翻一翻,数数有几条能同时满足这四条——数出来的结果,大概就是你这个库的真实资产率。

推荐学习
🔥 推荐这节公开课:用jev决策模型提速App测试智能体,实现10倍速度提升。

不讲空概念,直接拆:App测试智能体的工具与技能、jev/laya决策模型怎么用、Token压缩和知识图谱召回怎么降本、断言体系怎么设计。

做AI测试、Agent落地的同学别错过。扫码进群,锁定席位!

image

关于我们
霍格沃兹测试开发学社,隶属于 测吧(北京)科技有限公司,是一个面向软件测试爱好者的技术交流社区。

学社围绕现代软件测试工程体系展开,内容涵盖软件测试入门、自动化测试、性能测试、接口测试、测试开发、全栈测试,以及人工智能测试与 AI 在测试工程中的应用实践。

我们关注测试工程能力的系统化建设,包括 Python 自动化测试、Java 自动化测试、Web 与 App 自动化、持续集成与质量体系建设,同时探索 AI 驱动的测试设计、用例生成、自动化执行与质量分析方法,沉淀可复用、可落地的测试开发工程经验。

在技术社区与工程实践之外,学社还参与测试工程人才培养体系建设,面向高校提供测试实训平台与实践支持,组织开展 “火焰杯” 软件测试相关技术赛事,并探索以能力为导向的人才培养模式,包括高校学员先学习、就业后付款的实践路径。

同时,学社结合真实行业需求,为在职测试工程师与高潜学员提供名企大厂 1v1 私教服务,用于个性化能力提升与工程实践指导。

posted @ 2026-11-10 14:33  霍格沃兹测试开发学社  阅读(5)  评论(0)    收藏  举报