霍格沃兹测试开发学社

《Python测试开发进阶训练营》(随到随学!)
2023年第2期《Python全栈开发与自动化测试班》(开班在即)
报名联系weixin/qq:2314507862

装完 browser-use 先别写 Agent:用 5 条 CLI 命令看懂“智能体眼里的页面长什么样”

关注 霍格沃兹软件测试开发 公众号,回复「资料」, 领取人工智能测试开发技术合集

上个月团队里一个测试同学装完 browser-use,兴奋地跟我说:“今晚就能写一个自动巡检测试的 Agent。”

我问他:“你知道 Agent 打开页面之后,第一眼看到的是什么吗?”

他愣了一下:“应该……跟人看到的差不多?”

差很多。

人看网页,文字、布局、颜色、可点击区域同时进入视野,大脑自动完成筛选。模型没有这份“天然视野”。一个实时页面对于模型来说太大、太吵、变化太快,browser-use 不会把整个渲染文档塞给它,而是把页面压缩成一份浏览器状态摘要——一份带索引的可交互元素列表。模型读到的是“页面上有一个 textbox,名字叫 Email,索引是 3”,而不是一张截图里的像素。

如果你连 Agent 眼里的页面长什么样都不知道,写出来的 Agent 一定是在“猜页面”。

装完 browser-use,先别急着写 Agent。用下面这 5 条 CLI 命令,花 15 分钟,亲眼看一下智能体的“视野”。

人工智能技术学习交流群
伙伴们,对AI测试、大模型评测、质量保障感兴趣吗?我们建了一个 「人工智能测试开发交流群」,专门用来探讨相关技术、分享资料、互通有无。无论你是正在实践还是好奇探索,都欢迎扫码加入,一起抱团成长!期待与你交流!👇

image

第 0 步:先确认环境是好的
在敲任何命令之前,先跑一次诊断:

browser-use doctor
这条命令会检查安装状态、daemon 和浏览器连接是否正常。看到全绿再往下走。如果 doctor 有问题,先修环境,别急着学命令。

第 1 条:open —— 让 Agent “站在”页面上
browser-use open https://demo.playwright.dev/todomvc
这条命令做的不只是“打开网页”。它在后台启动一个持久化的 daemon 和一个浏览器实例。后面每一条命令,都通过这个 daemon 和同一个浏览器会话通信,不会每次都重新启动浏览器。

你现在要建立的第一个认知是:browser-use 的 CLI 不是“一次性脚本”,而是一条有状态的会话。 你 open 之后,浏览器就在那里等你,直到你 close。

默认是 headless 模式。如果你想亲眼看到浏览器弹出来,加 --headed:

browser-use --headed open https://demo.playwright.dev/todomvc
建议第一次用 --headed。 你能同时看到命令行输出和浏览器画面,方便对照“Agent 看到的”和“人看到的”之间的差异。

第 2 条:state —— 这是整篇文章的核心
browser-use state
state 返回的是当前页面的 URL、标题,以及带索引的可点击元素列表。

输出大概长这样:

URL: https://demo.playwright.dev/todomvc
Title: TodoMVC

[0] textbox "What needs to be done?"
[1] button "All"
[2] button "Active"
[3] button "Completed"
[4] checkbox "Toggle Todo"
这就是 Agent 眼中的页面。

它不是一张截图,不是一整棵 DOM 树,是一份经过压缩和过滤的“动作面板” 。browser-use 的感知管线会并行拉取 DOM 快照、DOM 树和可访问性树,再加一些 JavaScript 探针检测 iframe 滚动状态和点击监听器,然后把这三路信息合并成一棵增强的 DOM 树。合并之后,它会做一次可见性和交互性过滤,只留下“能点的、能填的、能选的”元素,给每个元素分配一个索引,最终序列化成一行一行给模型读的文本。

为什么这很重要?

因为 Agent 不“看”页面,它“读”页面。它读到的是这份索引列表。你写的每一条 Agent 指令,最终都要映射到这份列表里的某一个索引上。 如果你不知道列表里有什么,你就是在让 Agent 猜。

一个直接的练习:打开一个你熟悉的页面,跑 state,对照浏览器画面,看哪些元素进了列表、哪些没进。没进列表的元素,Agent 默认是“看不见”的——它不会去点一个不在动作面板里的东西。

第 3 条:click / input —— 用索引操作,而不是用选择器
browser-use input 0 "Buy groceries"
browser-use click 4
input "text" 是“点一下这个元素,然后输入文本”。click 是直接点。索引全部来自上一步 state 的输出。

这一条命令的价值,是让你亲手体验“Agent 是怎么操作的”。

传统 Playwright 里,你写 page.getByRole('textbox', { name: 'What needs to be done?' }).fill('Buy groceries')。Agent 不写这个。Agent 读到 [0] textbox "What needs to be done?",然后决定“对索引 0 执行 input”。它不需要知道 CSS 选择器,不需要知道 XPath,它只需要知道索引。

这也解释了为什么 Agent 的定位比传统脚本“稳”一点:索引是 browser-use 在运行时根据当前页面实时分配的,不是写死在脚本里的。 页面结构变了,索引会变,但 Agent 每次操作前都会重新 state,拿到的是最新的索引。

但索引有一个你必须知道的边界:它只在当前快照内有效。 页面导航或重新渲染之后,旧的索引就失效了。Agent 如果不重新 state 就直接用旧索引,就会点错元素或者报错。这是 Agent 脚本“时好时坏”最常见的原因之一。

第 4 条:screenshot + get —— 文本看不全的,用图和提取补
state 给的是文本摘要。它压缩了信息,也丢掉了信息。有些东西文本摘要覆盖不到——视觉布局、颜色、位置关系、图片内容。所以 browser-use 保留了两条补充通道。

browser-use screenshot page.png
截图保存到文件。如果只想快速看一眼,不加路径会输出 base64。--full 可以截全页。

browser-use get text 0
browser-use get html --selector "h1"
get text 读取某个元素的文本内容,get html --selector 按选择器拉取局部 HTML。

这三条命令放在一起,是在告诉你一件事:Agent 的“视野”是分层的。

第一层是 state 的索引列表——动作层,告诉 Agent“能操作什么”。 第二层是截图——视觉层,补上文本摘要丢掉的布局和外观。 第三层是 get——数据层,按需拉取具体的文本或 HTML。

你在写 Agent 的时候,决定它“看到什么”,就是在决定它“能做什么”。 只给索引列表,它能点按钮,但判断不了“页面看起来对不对”。只给截图,它能看到画面,但没有可操作的索引。两者结合,才是完整的感知。

第 5 条:--session —— 别让两个任务“串台”
browser-use --session todo open https://demo.playwright.dev/todomvc
browser-use --session todo state

browser-use --session login open https://example.com/login
browser-use --session login state
每个 --session NAME 拥有独立的 daemon 进程、独立的 socket、独立的浏览器实例、独立的标签页状态。不加 --session 的命令,全部走 default 会话。

为什么这条命令是“看懂 Agent 视野”的一部分?

因为隔离决定了 Agent 看到的是哪一个页面。你同时跑三个任务,如果不做会话隔离,它们可能共享同一个浏览器,互相导航、互相覆盖状态。Agent 以为自己在看任务 A 的页面,实际看到的是任务 B 刚刚跳转过去的页面。

browser-use sessions # 查看所有会话
browser-use --session todo close
browser-use close --all # 清理全部
一个习惯:每个任务一个 session。 任务开始 open,任务结束 close。不要在一个 session 里来回切换不相关的页面。

把 5 条命令串起来:一次完整的“视野走查”

1. 确认环境

browser-use doctor

2. 打开页面(建议第一次加 --headed,人眼对照)

browser-use --headed --session walkthrough open https://demo.playwright.dev/todomvc

3. 看 Agent 眼里的页面

browser-use --session walkthrough state

4. 用索引操作

browser-use --session walkthrough input 0 "Buy groceries"
browser-use --session walkthrough keys "Enter"

5. 重新 state,看页面变化后的索引

browser-use --session walkthrough state

6. 截图留证

browser-use --session walkthrough screenshot result.png

7. 清理

browser-use --session walkthrough close
做完这一遍,你会对三件事有体感:

第一,Agent 的操作单位是索引,不是选择器。 第二,索引是实时分配的,页面一变就要重新 state。 第三,Agent 的“看见”是压缩过的,截图和 get 是它的补充视野。

为什么“先看页面”比“先写 Agent”重要?
那个测试同学后来没有当天晚上写 Agent。他花了半个小时,用 state 走了三个页面——登录页、订单列表页、详情页。

他跟我说了一句话:“我以前以为 Agent 什么都能看见,现在才知道它只看得见 state 列出来的那些东西。 我没列进去的元素,它根本不知道存在。”

这句话就是整篇文章想说的。

Agent 的能力上限,不是模型有多强,是它的“视野”里有什么。 你给它一份清晰的、带索引的状态摘要,它就能准确决策。你让它面对一个它“看不见”的页面,它只能猜。

装完 browser-use,先别写 Agent。先跑一遍 state,看看它眼里的世界。 你理解了它的视野,才知道该怎么给它下指令。

避坑指南
坑一:跳过 doctor 直接 open。 环境有问题的时候,open 可能静默失败或者连到一个奇怪的浏览器实例。先跑诊断,别赌。

坑二:state 之后隔很久才操作。 索引有生命周期。页面一变,旧索引就废了。操作前重新 state,是最便宜的习惯。

坑三:只看 state,不看截图。 文本摘要会丢掉布局和视觉异常。state 负责“能操作什么”,截图负责“看起来对不对”。两个都要看。

坑四:不做 session 隔离。 多个任务共享 default 会话,是“Agent 串台”的头号原因。每个任务一个 --session,用完 close。

坑五:以为“Agent 看不见”等于“页面上没有”。 元素存在于 DOM 里,不代表在 state 的索引列表里。Agent 只对它“看见”的东西负责。 如果某个关键元素没进列表,Agent 的测试覆盖就存在盲区。

最后
browser-use 的 CLI 设计,本质上是在给你一个观察 Agent 感知过程的窗口。

open 建立会话,state 展示视野,click/input 用索引操作,screenshot/get 补充视觉和数据,--session 隔离上下文。

这 5 条命令,不是“入门玩具”。它们就是 Agent 在每一步里做的事情的“手动版”。 你手动跑一遍,就知道 Agent 在自动跑的时候,看的到底是什么、漏的到底是什么。

下次你再写一个“打开页面、点按钮、验证结果”的 Agent 之前,先花 15 分钟,用这 5 条命令走一遍。

你看见它的视野,才能写出它走得对的路。

推荐学习
🔥 推荐这节公开课:用jev决策模型提速App测试智能体,实现10倍速度提升。

不讲空概念,直接拆:App测试智能体的工具与技能、jev/laya决策模型怎么用、Token压缩和知识图谱召回怎么降本、断言体系怎么设计。

做AI测试、Agent落地的同学别错过。扫码进群,锁定席位!

image

关于我们
霍格沃兹测试开发学社,隶属于 测吧(北京)科技有限公司,是一个面向软件测试爱好者的技术交流社区。

学社围绕现代软件测试工程体系展开,内容涵盖软件测试入门、自动化测试、性能测试、接口测试、测试开发、全栈测试,以及人工智能测试与 AI 在测试工程中的应用实践。

我们关注测试工程能力的系统化建设,包括 Python 自动化测试、Java 自动化测试、Web 与 App 自动化、持续集成与质量体系建设,同时探索 AI 驱动的测试设计、用例生成、自动化执行与质量分析方法,沉淀可复用、可落地的测试开发工程经验。

在技术社区与工程实践之外,学社还参与测试工程人才培养体系建设,面向高校提供测试实训平台与实践支持,组织开展 “火焰杯” 软件测试相关技术赛事,并探索以能力为导向的人才培养模式,包括高校学员先学习、就业后付款的实践路径。

同时,学社结合真实行业需求,为在职测试工程师与高潜学员提供名企大厂 1v1 私教服务,用于个性化能力提升与工程实践指导。

posted @ 2026-11-04 11:19  霍格沃兹测试开发学社  阅读(15)  评论(0)    收藏  举报