11.12公开课回顾 | 使用 Jev 模型提速 App 测试智能体
关注 霍格沃兹软件测试开发 公众号,回复「资料」, 领取人工智能测试开发技术合集
一、本场直播讲了什么
思寒老师这场直播围绕一个目标展开:从零开始搭一个能跑 App 自动化测试的智能体,并用 Jev 模型解决"多模态视觉方案又贵又慢"的痛点。
整场内容可以分为三层:
原理层:智能体(Agent)到底是怎么工作的;
实战层:两条技术路线的现场演示——基于视觉的 Midscene、基于 DOM 结构的 Mobile-MCP;
提速层:Jev 决策模型的配置思路,以及 token 成本对比。
扫描文章底部海报二维码进群,领取直播回放。
二、原理篇:智能体的底层逻辑
- Agent 的核心循环
智能体的本质是"大模型 + Harness(智能体运行时)"组成的程序:大模型负责理解、推理与决策;Harness 则是包裹在大模型外层的执行脚手架,承担工具调度、循环控制、上下文管理等职责。其运行机制沿袭了早期 ReAct → Function Calling 的演进路线:
大模型输出工具调用(Function Calling),已成为行业事实标准;
工具去真实世界执行,返回的结果被称为观测(Observation);
观测结果回传给大模型,由它再次推理:是继续调工具,还是任务完成、退出循环。
执行测试用例就是这个循环的典型应用:打开 App → 观测界面 → 决定点哪里 → 执行 → 再观测……直到任务完成触发退出。
- 四个关键组件
以下组件都归属在 Harness(智能体运行时)这一层,由它统一调度:
组件
作用
工具(Tools)
与外部世界对接的协议,输入由大模型生成,输出即观测结果
技能(Skills)
工具太多时,把工具按职责分组、按需加载,避免上下文爆炸
记忆(Memory)
对话历史太长时先存下来,需要时通过 RAG 等方式召回
上下文压缩
历史太长就选择性遗忘、总结,防止上下文超限——思寒特别强调"上下文就像电脑内存,必须时刻关注它的占用程度"
3. 智能体 vs 工作流
两者内核相同(节点 + 关系的图结构),区别在于:
智能体:每一步都由大模型动态决策,灵活但成本高;
工作流:路径预先编排好,执行高效,适合复杂业务流程。
不少成熟智能体支持"把大模型动态执行的过程记录下来,固化成工作流",这是后面降本的关键伏笔。
三、实战篇一:Midscene——基于视觉的 App 自动化
- 工具定位
Midscene 是一个适合小白入门的智能体测试工具,核心特征是"像人一样":用截图理解界面,由自然语言驱动,不依赖任何端的技术栈——无论 Web、安卓、iOS 还是桌面端,有截图就行。
官方提供了 YAML 风格的测试用例写法,包含 case 名称、steps(action / assert / teardown 等),近期版本还支持自定义 Node 节点做业务级封装,已经接近一个迷你测试框架的水准。
- 现场演示:跑通雪球 App 登录用例
思寒现场完整演示了配置与执行过程:
安装技能:装好安卓自动化相关技能(含 Universal 智能体规范),技能清单可以用命令验证;
配置模型:按官方示例配置大模型 API(演示中用的是 DeepSeek Flash 视觉模型 + 本地模型网关中转),配到 .env 环境变量文件即可自动加载;
踩坑实录:因为本地历史环境变量太多,智能体一度"自作聪明"绕过了指定网关、读到了旧配置,反复排查才让请求真正走到指定模型地址——这段排错过程对观众很有参考价值;
视觉识别原理:底层其实就是 adb 截一张图,附上一段提示词(系统级提示词 + 用户级提示词 + 期望返回的 JSON 数据结构),让多模态模型把一张图片解析成精确的结构体(界面、控件、位置、坐标等全都有);
执行用例:启动雪球 App → 点击一键登录 → 输入手机号 → 输入验证码 → 点击同意协议 → 点击登录 → 断言。中间有报错和多次重试,但智能体最终自己恢复了并完成任务。
3. 视觉方案的真实代价
这是本场最有信息量的数据之一:
一次基于视觉的用例执行,上下文总量接近 200 万 token(约 1.7M);
其中 98% 是缓存命中的历史消息,真正有效的内容只占约 2%;
虽然有缓存,成本折算下来一次约几分钱到几毛钱,但速度慢(每步截图识别约 2—6 秒)、上下文占用大是硬伤。
四、提速篇:Jev 模型怎么用
这是本场的主题所在。Midscene 官方提供了 Jev 模型(当前版本 Jev 1.14,由 TypeSafe 提供,官方标注为实验性)。官方对它的定位是"做选择的模型"——选择下一步动作、定位界面元素、判断条件是否成立;优势是速度快、成本低,但不适合复杂推理。Midscene 允许把智能体的三块职责拆开、分别配置模型:
规划(Planning)——决定下一步怎么做;
定位(Locate)——识别和定位界面元素;
理解(Insight)——数据提取、断言与页面理解。
三块可以用三个不同模型分别承担,最简单的做法是把三者全部配置成同一个 Jev 模型(官方文档提供了复制即用的三段 Planning / Locate / Insight 配置)。核心收益:
用 Jev 决策模型替代多模态视觉模型做元素定位与操作决策,速度更快、成本更低;
思寒现场给出的对照数据:换成基于 DOM 结构的方案(Mobile-MCP)后,同样任务的上下文从约 1.7M 直接降到 479K,大小相差近十倍;
思寒也如实提示:Jev 决策模型目前还是实验性的,它用到一种较新的 box 类型,个别开源决策模型并不支持,稳定性偶有波动,选型时要实测验证。
五、实战篇二:Mobile-MCP——基于 DOM 结构的更快路线
-
工具定位
Mobile-MCP 是一个纯 MCP 服务,相当于在 adb 之上封装了一整套命令:获取设备清单、启动指定 App、页面元素查找、点击、输入……全都封装好了,避免智能体直接裸调底层命令来回试错。 -
用法
通过 NPX/NPM 安装,本地开启 MCP 服务(监听端口),配置到智能体里;
写一个简单的技能(Skill),把"怎么列设备、怎么启动 App、怎么定位元素、用什么命令语法"这套教程告诉智能体;
之后智能体就能自己运行测试、出报告。 -
现场对比结论
Mobile-MCP 路线不依赖视觉模型处理,走纯 DOM 结构:
更快:没有截图识别的等待;
更稳:不靠猜坐标,直接拿结构化数据;
更省:token 消耗约为视觉方案的十分之一。
中间遇到的环境问题(包安装、超时、连接等)属于本地环境范畴,处理好即可。
六、答疑环节精华
Q:怎么让 token 消耗更少? 自己写工作流,别让大模型自己来回试。一定用决策模型(如 Jev)或自定义工作流,砍掉大量无效重复的前置消息。
Q:主流的 App 自动化工具选什么?
首选 DOM 结构优先,截图是兜底(成本高);
最主流的流派其实"什么工具都不装":智能体能调 Shell,Shell 能调 adb,写一个 App 自动化技能让它自己猜工具,一个文档 + 一个 App 丢给它,百分之六七十的用例都能跑;
进阶选 Appium-MCP(最适合专业测试工程师,能识别 WebView 等复杂控件)、Mobile-MCP、Playwright-MCP;
Midscene 擅长纯截图场景,用的人多,但不算专业主流。
Q:AI 能覆盖多少 App 测试? 拿一份需求文档 + 真实 App 交给智能体,大约 70%—80% 的自动化测试可以由 AI 完成,剩下 20% 左右人工维护即可。
Q:token 都花在哪了? 去看上下文构成:缓存命中率多少、系统级提示词占比、工具定义占比、对话消息占比——看清资源消耗在哪,才知道往哪优化。
七、一句话总结
视觉方案(Midscene)上手快、通用性强,但贵且慢;用 Jev 决策模型 + DOM 结构方案(Mobile-MCP / Appium-MCP),上下文开销直降约十倍,是 App 测试智能体提速降本的关键路径。而对测试工程师来说,真正的进阶方向是:学会工具开发、工作流编排和提示词工程,把通用的、让大模型自由发挥的部分,变成自己可控、可复用的工程资产。
扫码进群,领取直播回放

关于我们
霍格沃兹测试开发学社,隶属于 测吧(北京)科技有限公司,是一个面向软件测试爱好者的技术交流社区。
学社围绕现代软件测试工程体系展开,内容涵盖软件测试入门、自动化测试、性能测试、接口测试、测试开发、全栈测试,以及人工智能测试与 AI 在测试工程中的应用实践。
我们关注测试工程能力的系统化建设,包括 Python 自动化测试、Java 自动化测试、Web 与 App 自动化、持续集成与质量体系建设,同时探索 AI 驱动的测试设计、用例生成、自动化执行与质量分析方法,沉淀可复用、可落地的测试开发工程经验。
在技术社区与工程实践之外,学社还参与测试工程人才培养体系建设,面向高校提供测试实训平台与实践支持,组织开展 “火焰杯” 软件测试相关技术赛事,并探索以能力为导向的人才培养模式,包括高校学员先学习、就业后付款的实践路径。
同时,学社结合真实行业需求,为在职测试工程师与高潜学员提供名企大厂 1v1 私教服务,用于个性化能力提升与工程实践指导。

浙公网安备 33010602011771号