霍格沃兹测试开发学社

《Python测试开发进阶训练营》(随到随学!)
2023年第2期《Python全栈开发与自动化测试班》(开班在即)
报名联系weixin/qq:2314507862

你背了一暑假Selenium定位和接口八股,面试官问的是“AI生成的脚本你怎么验证它是对的”

关注 「软件测试就业联盟」公众号,陪你走好校招求职的每一步

上周一个学弟给我发消息,语气有点崩。

“哥,我Selenium的八种定位方式背得滚瓜烂熟,接口状态码、幂等、鉴权也准备了一暑假。结果面试官没问这些。他给我看了一段AI生成的Playwright脚本,问我:你怎么验证它是对的?”

他停了一下,补了一句:“我当时脑子里全是‘怎么定位元素’,完全没想过‘怎么验证别人写的脚本’。”

我问:“你怎么答的?”

他说:“我说跑一遍,看能不能通过。”

面试官追问:“通过了就代表对了吗?”

他卡住了。

这就是2026年校招测试面试最真实的分水岭。 以前考你“会不会写”,现在考你“会不会验”。因为写脚本这件事,AI已经替你干了;但“它写的到底对不对”,AI自己说了不算。

一、为什么“跑一遍能过”不是验证?
先看一段AI很爱生成的脚本,你判断一下它对不对:

def test_login():
resp = requests.post("/api/login", json={"username": "test", "password": "123456"})
assert resp.status_code == 200
跑一遍,大概率是绿的。但它验证了什么?

它只验证了“请求发出去了、服务端没报错”。它没验证登录成功后的token有没有返回、没验证错误密码会不会被拒、没验证特殊字符密码会不会绕过、没验证连续失败会不会锁定。

这条脚本能过,但它几乎什么都没测到。 这就是AI生成脚本最典型的“假通过”——断言太弱,弱到删掉它,测试也发现不了任何Bug。

面试官问“你怎么验证它是对的”,本质上是在问:你能不能判断一段脚本是在“真验证”,还是在“走个过场”。

二、验证AI生成的脚本,要过四道关
我把验证拆成四道关,每一关都在回答一个不同的问题。

第一关:它真的能跑吗?——可执行性
这一关最基础,但很多人只做到“跑一次绿了”就停了。

可执行性不是“跑一次能过”,是“重复跑能稳定过”。 把脚本连跑三遍,看结果是不是一致。如果第二遍、第三遍红了,说明脚本依赖了外部状态(比如上一条用例留下的数据、未清理的登录态、共享的测试账号),它不是一个独立的测试。

还要看它有没有硬编码的等待、有没有依赖执行顺序、有没有在失败时留下脏数据。AI很喜欢写time.sleep(3),也很喜欢复用上一条用例的登录态——这两样都会让脚本在CI上时绿时红。

这一关的问题: 跑一次绿了不算过,连跑三次都绿、且不依赖前序状态,才算过。

第二关:它的断言能“抓住错”吗?——断言有效性
这是最关键的一关,也是AI脚本最薄弱的地方。

判断一条断言有没有用,问一句话就够了:把这条断言删掉,测试还能发现什么Bug? 如果答案是“什么都发现不了”,它就是一条只贡献覆盖率、不贡献检出率的废断言。

AI生成的断言,典型长这样:

assert resp.status_code == 200
assert resp.json() is not None
你要把它改成能“抓住错”的断言。一个登录接口,至少要断言:

状态码是200
业务code是0
返回的token非空、格式正确
错误密码时返回401,且不返回token
连续错误5次后,第6次返回锁定提示
验证方法:故意把接口改错。 比如把登录逻辑里的密码校验注释掉,看脚本会不会红。如果它还是绿的,说明断言没抓到问题。这个方法叫“变异验证”,不需要工具,手工改一行代码就能做。

第三关:它覆盖了“该测的”吗?——场景覆盖
AI生成脚本有一个固定倾向:它只测“它能想到的”,不测“你想让它测的”。

它一定会覆盖正常流程。它大概率会覆盖“密码错误”“用户不存在”这种教科书式异常。但它大概率会漏掉:

密码前后有空格
密码包含Unicode零宽字符
手机号格式正确但号段不存在
同一账号多设备并发登录
token过期后重新请求
重复提交同一请求(幂等性)
验证方法:拿一张场景清单,逐项对。 清单至少包含:正常流程、参数缺失、参数类型错误、参数格式错误、鉴权失败、越权、重复提交、边界值、并发。缺哪一项,就让AI补哪一项,补完再验断言。

第四关:它有没有“真的做对”?——业务最终状态
这一关最容易被忽略,也最接近“生产环境会不会出事”。

AI脚本很容易停在“页面说成功了”或者“接口返回200了”。但页面说成功,不等于业务成功。

一个退款脚本,断言了“退款接口返回200”,但没查退款单有没有真的创建、订单状态有没有变成“已退款”、用户余额有没有增加。如果接口返回了200但后台事务回滚了,脚本照样绿,Bug照样上线。

验证方法:追到最终状态。 接口调用之后,通过查询接口或数据库确认:业务实体真的变了、关联数据一致、状态流转正确。涉及资金、订单、库存的脚本,这一关不能省。

三、面试怎么答?给一个能讲两分钟的回答框架
如果面试官再问你“AI生成的脚本你怎么验证它是对的”,可以按这个结构答:

“我会分四层验。

第一层,可执行性。 不是跑一次绿了就行,要连跑三次都稳定,而且不依赖前序用例的状态。

第二层,断言有效性。 我会看每条断言能不能‘抓住错’——把断言删掉,测试还能不能发现Bug。AI很喜欢只写status_code == 200,这种断言等于没写。我会把它补成三层:协议层、数据层、业务层。

第三层,场景覆盖。 AI只会覆盖它想到的场景,我会拿一张清单逐项对:正常、异常、边界、权限、幂等、并发。缺的让AI补。

第四层,业务最终状态。 页面说成功不等于业务成功。涉及订单、支付的脚本,我会追到数据库或查询接口,确认状态真的变了。

最后我会做一个反向验证:故意把代码改错一行,看脚本会不会红。不会红的脚本,就是没在真验证。”

这个回答有层次、有方法、有具体动作。面试官听完会知道,你不是“会用AI”,你是“能管住AI”。

四、避坑指南
坑一:把“跑通”当“验证”。 跑通只证明语法没错,不证明测试有效。验证的核心是“它能不能发现错”,不是“它能不能跑”。

坑二:只看覆盖率。 AI能轻易把覆盖率刷到90%,但覆盖率衡量的是“代码被执行到”,不是“代码被改错了有没有用例能发现”。覆盖率涨了、Bug没少,就是断言太弱。

坑三:让AI既写代码又写测试。 代码和测试来自同一个“大脑”,共享同一个错误前提,测试会全绿,Bug会安静地活下来。至少要用独立的校验逻辑(业务不变量、数据库查询)交叉验证。

坑四:验证一次就完事。 模型版本会变、接口会变、业务规则会变。AI生成的脚本需要定期回归验证,不是一次性检查。

坑五:只背八股,不练“验证思维”。 Selenium定位、接口状态码这些基础要有,但面试官现在更想看的是:你能不能在“AI说它对”的时候,自己判断它到底对不对。

最后
你背了一暑假Selenium定位和接口八股,没有白背。基础不牢,你连AI生成的脚本错在哪都看不出来。

但面试官问的那道题,考的不是“你会不会写”,是“你会不会验”。当生成变得廉价,验证就成了稀缺能力。

AI可以写出一百条脚本。但“这一百条里,哪几条真的能拦住Bug”——这个判断,仍然在你手里。

下次你看到一段AI生成的脚本,别急着点运行。先问自己一句:如果我把这段代码改错,它能发现吗?

答不上来,就说明你还没“验证”它,只是“运行”了它。

想及时获取2027届秋招第一手招聘消息、岗位汇总和内推信息,可以扫码加入秋招交流群。
image

关于我们
霍格沃兹测试开发学社,隶属于 测吧(北京)科技有限公司,是一个面向软件测试爱好者的技术交流社区。

学社围绕现代软件测试工程体系展开,内容涵盖软件测试入门、自动化测试、性能测试、接口测试、测试开发、全栈测试,以及人工智能测试与 AI 在测试工程中的应用实践。

我们关注测试工程能力的系统化建设,包括 Python 自动化测试、Java 自动化测试、Web 与 App 自动化、持续集成与质量体系建设,同时探索 AI 驱动的测试设计、用例生成、自动化执行与质量分析方法,沉淀可复用、可落地的测试开发工程经验。

在技术社区与工程实践之外,学社还参与测试工程人才培养体系建设,面向高校提供测试实训平台与实践支持,组织开展 “火焰杯” 软件测试相关技术赛事,并探索以能力为导向的人才培养模式,包括高校学员先学习、就业后付款的实践路径。

同时,学社结合真实行业需求,为在职测试工程师与高潜学员提供名企大厂 1v1 私教服务,用于个性化能力提升与工程实践指导。

posted @ 2026-11-07 21:19  霍格沃兹测试开发学社  阅读(12)  评论(0)    收藏  举报