自动化测试偶发失败(Flaky Test)如何排查
一条用例昨天还绿着,今天在发布前的回归计划里红了;点开后重跑一次,又神奇地通过。这样的结果最危险的地方,不是浪费了几分钟,而是它会慢慢消耗团队对自动化的信任。
这就是常说的 Flaky Test(偶发失败):在被测系统代码、用例和预期都没有明确改变的情况下,同一测试重复执行却给出不一致结果。它可能来自测试本身,也可能暴露了产品、环境或数据的非确定性。无论归属在哪里,只要无法解释,就不应该被简单标记为“偶现”。
真正有效的处理不是给失败用例加一次重试,而是把它从一次模糊的红灯,变成一条可复现、可归因、可验证的证据链。
先确认:它真的是 Flaky Test 吗?
不要只因为“第二次通过”就断定是偶发失败。至少要先排除三种更常见的情况:
- 产品或接口真的有问题。 例如偶发 500、库存锁冲突、后端异步任务超时;重跑通过不代表线上风险消失。
- 测试前置条件已经不同。 账号登录态过期、测试数据被修改、目标环境刚部署完成,都会让同一用例走到不同页面。
- 用例期望过期。 页面文案、权限规则、流程或字段校验已经改了,旧用例当然不应持续通过。
一个实用的判断方法是:在尽可能相同的浏览器、环境、账号、数据和窗口尺寸下连续运行 3~5 次,并保留每次的失败步骤、截图、当前 URL、耗时和错误信息。如果失败总出现在同一个步骤,但页面状态不同,重点查时序、前置状态和数据;如果页面状态一致,才更像是定位或交互问题。

别急着重试:先把每次失败的现场留下来
“失败后自动重跑一次”可以作为临时保障,却不是修复。它会带来两个副作用:一是把原本需要调查的问题伪装成成功;二是让执行时长和资源消耗不断累积。对于发布冒烟,重试尤其要谨慎——第一次失败本身就是重要信号。
每次偶发失败至少应该保留以下信息:
| 证据 | 要回答的问题 |
|---|---|
| 失败步骤与前后截图 | 页面从哪一步开始偏离预期? |
| 当前 URL、页面标题与错误提示 | 是目标页面、登录页、权限页还是异常页? |
| 步骤耗时与时间点 | 卡在接口、动画、页面渲染还是元素交互? |
| 当前账号、数据标识、执行批次 | 是否和别的计划或同事争用了状态? |
| 实际命中的元素与 Locator | 是没找到、找错,还是找到了但不能操作? |
| 网络、控制台或后端日志(如可用) | 是否存在接口失败、资源加载失败或前端异常? |
回演 CueCast 的执行详情会保存失败步骤、截图、错误信息、执行明细和结构化失败原因;证据面板还能看到当前 URL、页面状态、运行时定位信息及相关页面或网络异常。排查时应先看截图和原始错误,再用分类和证据缩小范围,而不是只根据一条“元素未找到”或“超时”下结论。
若开启了“失败时启用 AI 分析”,它可以把长错误信息和执行上下文整理成更易读的原因摘要,帮助区分登录态、页面状态、定位、断言或数据问题。但它不是替代现场证据的裁判;截图、页面状态和业务结果仍应优先确认。


高频原因 1:页面异步、动画或加载状态没有真正稳定
这是 UI 自动化最常见的波动来源。点击保存后,接口可能先返回成功,再刷新列表;下拉菜单需要异步加载选项;全局遮罩虽然已经淡出,按钮仍处于 disabled;同一页面在网络繁忙时渲染顺序也可能不同。
识别信号
- 手工放慢操作后稳定,自动回放时偶尔失败;
- 失败截图中存在骨架屏、loading、遮罩层,或目标按钮不可点击;
- 失败集中在提交后跳转、弹窗打开、级联选择、列表刷新等节点;
- 某一步耗时明显比正常执行长。
修复方式
优先等待可观察的业务状态,而不是扩大一个固定睡眠时间:等待“提交成功”提示、目标表格行出现、loading 消失、按钮解除禁用、弹窗标题显示。只有对无法观察的短动画,才用较小的固定等待做兜底。
CueCast 会在点击前检查元素是否可交互,包括 disabled、组件 loading、遮罩覆盖和只读状态;若超时,错误信息会给出相应线索。对确有局部加载的步骤,可在步骤配置中设置“执行前等待”,建议从 500~2000 ms 开始,并单条回放验证。不要把每一步都加到 10 秒,这只会放大执行成本并掩盖页面性能问题。
高频原因 2:登录态、权限或浏览器状态不一致
很多用例在单条调试时通过,放进计划后却不稳定,根因并不在业务按钮上,而是浏览器带着不同的 Cookie、缓存、账号角色或跳转历史。比如某次复用了旧会话,已经在工作台;另一次会话过期,跳到登录页,后续自然找不到预期元素。
修复方式
先定义每条用例的起点:业务回归是依赖已登录会话,还是需要从未登录状态开始?两种需求不要混在同一条用例里。
对持续回归的业务用例,可在 CueCast 执行计划中配置“登录准备”:运行前先判断是否已登录,已登录直接进入业务用例,未登录才执行指定登录用例。登录用例末尾应有一个登录后稳定存在的断言,例如工作台标题或退出入口。对登录、退出登录或权限隔离场景,则用无痕模式保证每次从新会话开始;无痕模式不能与登录准备同时使用。
如果失败页面已经明确出现“未登录”“无权限”或 401/403,不要把它归类为普通定位问题。先恢复会话与权限,再判断用例有没有其他问题。
高频原因 3:测试数据被重复使用、污染或并发修改
共享测试环境里,最容易被忽略的是数据竞争。一条用例创建了固定名称的客户,第二次运行就重名;一条审批用例把订单状态改为“已通过”,另一条还在等待同一笔订单处于“待审批”;两套计划并行运行时,一个删掉了另一个正要查询的数据。
识别信号
- 失败只发生在某些时间段,或某次计划并行运行时;
- 页面提示重名、记录不存在、状态不符合预期;
- 单独运行成功,按计划连续运行失败;
- 执行历史中,不同用例在接近时间操作了同一业务对象。
修复方式
把测试数据当作用例的一部分管理:新建名称、编号等唯一字段使用“前缀 + 时间戳”或随机值;需要多人可读时,前缀写明模块和场景,例如 smoke-order-。对审批、删除、库存扣减等会改变状态的流程,准备专用账号与专用数据,或在末尾安排清理和复位。
CueCast 的输入步骤支持随机字符串、随机数字、时间戳、前缀 + 时间戳和组合值。它解决的是“每次输入值唯一”,并不自动解决业务数据之间的依赖;涉及共享对象时,仍要设计好创建、验证、清理的顺序。
高频原因 4:定位本身不稳定,或点到了错误对象
动态 id、随机 class、深层 nth-child、纯位置 XPath,都会把一次页面渲染的偶然结构固化进用例。数据顺序、前端构建产物、窗口尺寸稍有不同,就可能找不到元素,或点到另一行同名按钮。
更稳定的定位应该描述业务对象,而不是 DOM 的暂时位置。例如,先找到“名称为某个唯一值”的表格行,再点击行内“详情”;先确认当前弹窗标题,再点击弹窗内“确认”。页面上的同名按钮很多时,只写“点击确认”没有足够上下文。
CueCast 录制时会保存元素语义、文本、组件上下文以及 CSS、XPath 等定位线索,并在回放时优先按稳定性尝试智能定位,保留 CSS/XPath 作为兜底。对于下拉浮层等需要先触发才出现的控件,回放会先打开组件再找选项。即便如此,系统也无法凭空创造页面没有提供的业务语义:关键控件仍应由研发补充稳定的 data-testid、name 或可区分标签。
发现这类问题时,先在执行明细里核对本次实际命中的操作对象和 Locator,再决定是局部编辑 CSS/XPath、补充页面标识,还是重新录制复杂组件的一小段。不要只看到通过一次,就保留一条碰巧命中的长 XPath。
高频原因 5:窗口尺寸、响应式布局和遮挡改变了交互结果
同一个后台页面在 1440 px 宽度下显示完整菜单,在较窄窗口里可能折叠进“更多”;浏览器缩放、通知浮层、首次登录公告、全局引导蒙层,也可能改变元素的可见性和点击位置。它们通常不是每天都会出现,因此很像偶发问题。
修复方式
把执行窗口尺寸作为用例配置的一部分,而不是依赖操作人的当前屏幕。CueCast 默认以最大化窗口回放;对于必须验证特定断点或布局的场景,可为用例设置固定尺寸,并在保存后单条回放。失败截图里若出现折叠菜单、遮罩或公告,应先处理这些页面状态,再去调整定位。
对依赖首次进入提示的系统,最好在测试环境关闭无关公告,或把关闭引导做成明确、可验证的前置步骤。若页面的可用性本身依赖窗口大小,也应把相应分辨率作为测试范围的一部分,而不是让用例暗中依赖某位同事的显示器。
高频原因 6:用例之间存在隐藏依赖,失败被后续步骤放大
“先创建一条数据,再编辑它,再删除它”的长链路,一旦中间创建失败,后面可能连续报“找不到元素”“记录不存在”。这些后续失败不是新的根因,只是前序失败的症状。另一个常见问题是,计划默认按顺序跑,后一个用例暗中依赖前一个用例留下的数据或登录状态;单独运行、调整顺序或失败重跑时就会暴露。
修复方式
让每条关键用例尽量自给自足:清楚准备前置数据、在关键状态变化后立即断言、必要时在末尾清理。长流程可拆成“创建并验证”“编辑并验证”“删除并验证”几条独立用例;如果确实有依赖,在名称和描述里写明,并在执行计划中把前置用例排在前面。
CueCast 的执行详情会记录每一步的动作效果;当系统判断失败步骤可能只是下游症状时,会提示根因候选步骤和因果说明。维护时应优先修最早偏离预期的步骤,修完后先单条回放,再执行所在分组或计划。对发布冒烟可采用“失败即停止”,避免一处前置故障制造一串没有价值的后续红灯;完整回归则更适合“全部执行完成”,便于一次收集多个独立问题。
一个可执行的排查流程
遇到偶发失败,可以按下面的顺序推进,而不是在重跑和改选择器之间来回切换:
- 固定条件复现。 固定环境、账号、数据和窗口尺寸,连续运行 3~5 次;不要边改边跑。
- 收集失败现场。 保留失败步骤截图、URL、错误、耗时、数据标识和实际命中对象。
- 按现象归类。 优先判断是页面未稳定、登录/权限、数据冲突、定位/遮挡,还是前序步骤已失败。
- 做最小修复。 一次只改一个因素:补业务断言、调整局部等待、改稳定定位、隔离数据,或修正执行前置状态。
- 单条回放验证。 修改后连续跑几次;只有稳定后才放回分组或执行计划。
- 记录根因和预防动作。 页面需补标识、测试环境需清理、数据需隔离、计划需配置登录准备,都应沉淀为团队约定。
| 现象 | 优先方向 | 常见修复 |
|---|---|---|
| 每次失败截图都不一样 | 异步、状态或环境波动 | 等待业务状态,检查接口和页面 loading |
| 计划里失败、单独运行通过 | 登录态、数据依赖、执行顺序 | 配置登录准备,隔离数据,拆分依赖 |
| 同一页面偶尔点错或找不到 | 定位上下文、窗口大小、浮层 | 补稳定标识,固定视口,先处理浮层 |
| 提示重名、状态不对、数据不存在 | 测试数据污染或并发 | 动态唯一值、专用数据、清理复位 |
| 前一条失败后后面连环失败 | 用例链路过长或前置缺失 | 优先修最早失败步骤,增加关键断言 |
结语:稳定不是“重跑后通过”
一套回归测试的价值,不在于它偶尔能跑绿,而在于团队能相信每一次红绿都有可解释的原因。Flaky Test 的治理本质上是在消除不受控状态:让页面有明确的稳定信号,让数据有隔离和生命周期,让定位表达业务语义,让每次执行都留下足够的现场。
回演 CueCast 的价值不在于承诺自动化永不失败,而在于把真实浏览器回放、步骤级截图、运行时定位信息、结构化失败归因和可编辑的用例资产放进同一条工作流。这样,偶发失败不必靠经验猜测:先还原现场,再做最小修复,并用单条回放和执行计划验证修复是否真正稳定。
当团队能够持续回答“这次为什么失败、修完后为什么可信”,自动化测试才会从一批偶尔可用的脚本或录制结果,变成发布前真正能依赖的质量资产。

浙公网安备 33010602011771号