Midscene.js - AI 驱动，带来愉悦的 UI 自动化体验

一、通过自然语言描述做什么，AI解析，然后执行

在本地安装好Midscene后，在配置文件里填入AI的调用秘钥，执行下列脚本 midscene ./midscene-scripts/sensor.yaml 就能完成登录和验证的操作。

sensor.yaml

web:
  url: https://192.168.96.144:443/
  output: ./output/sensor-info.json

tasks:
  - name: 安全提示页面
    flow:
      - aiAction: 点击名称为高级的按钮
      - aiAction: 点击名称包含“继续前往”的链接
  - name: 登录页面
    flow:
      - aiAssert: 页面中包含登录按钮
      - aiAction: 用户名输入admin，密码输入admin123456，然后点击登录按钮
  - name: 登录后首页
    flow:
      - aiAssert: 页面中包含仪表板

 

文字版输出sensor-info.json

{
  "0": {
    "pass": true,
    "thought": "观察截图，右侧登录区域有蓝色的“登录”按钮，因此判断页面包含登录按钮，result为true。"
  },
  "1": {
    "pass": true,
    "thought": "观察截图，左侧导航栏中“仪表板”被高亮选中，主页面显示仪表板相关的统计信息（如总攻击次数、攻击者视图等），因此页面包含仪表板，result为true。"
  }
}

在midscene_run\report目录下有extract-sensor-2025-08-26_17-52-12-j4nwwm5t.html，打开后可以看到操作视频

 

二、申请免费的AI

有豆包、通义千问等多种模型可以申请，都会提供一些免费使用的token。

以豆包为例，https://www.volcengine.com/，包含多个模型，每种都提供50万免费token。

把api key记录下来

 

三、部署midscene

先安装npm，然后管理员权限打开cmd，执行 npm i -g @midscene/cli 就安装完了。

在项目的根目录，创建配置文件.env，把ai信息填写进去。示例如下

OPENAI_BASE_URL="https://ark.cn-beijing.volces.com/api/v3" 
OPENAI_API_KEY="984a96b9-64c3-49cb-95e3-0aaed3cacdd8"
MIDSCENE_MODEL_NAME="doubao-seed-1-6-vision-250815" # 火山引擎的推理接入点ID
MIDSCENE_USE_DOUBAO_VISION=1

 

 四、执行测试

 

 

五、总结

好工具，但是AI调用太昂贵了。