【AI】midscene在UI方面的应用

一 简介

🔹 含义
Midscene 是一款 自动化测试与 RPA（机器人流程自动化）相关的工具/框架，主要用于通过自然语言或脚本驱动测试流程、业务流程自动化。它常结合大模型（LLM）来理解指令，从而减少手写脚本的复杂度。

🔹 应用场景

• App/Web 自动化测试：比如用一句话就能让它在页面上“点击登录按钮”，而不用写冗长的 Selenium/Appium 脚本。
• 跨端测试：支持 Android、iOS、Web 的 UI 测试。
• 流程自动化：可以用来自动执行企业内部的一些重复性工作（类似 RPA 工具）。
• 与大模型结合：结合 OpenAI/阿里 DashScope 等模型，可以实现 AI 驱动的操作推理。

二 安装midscene

安装midscene:npm install -g @midscene/cli

检验是否安装好midscene: midscene version

安装过程遇到报错：

报错描述如下：

npm error Error: EACCES: permission denied, mkdir '/usr/local/lib/node_modules/@midscene'

解决方法

1. 避免使用 sudo（推荐：使用 npm 官方推荐的方法）

把 npm 的全局安装目录改到你有权限的位置，例如 $HOME/.npm-global：

mkdir ~/.npm-global
npm config set prefix '~/.npm-global'

然后在 ~/.zshrc 或 ~/.bashrc 中加入：

export PATH=$HOME/.npm-global/bin:$PATH

更新配置：

source ~/.zshrc

之后重新安装 Midscene：

npm install -g @midscene/cli

三 大模型环境配置

Mac 大模型的环境变量的配置如下：

1.进入配置文件命令：vim ~/.zshrc

2.使用通义千问大模型配置如下：

#大模型配置

export OPENAI_API_KEY=填写自己的key

export OPENAI_BASE_URL=https://dashscope.aliyuncs.com/compatible-mode/v1

# 模型配置

export MIDSCENE_MODEL_NAME=qwen2.5-vl-72b-instruct

export MIDSCENE_USE_QWEN_VL=1

3.使配置文件生效的命令：source ~/.zshrc

四 Web UI用例编写

参考：https://midscenejs.com/zh/automate-with-scripts-in-yaml.html

编写Yaml 格式的用例如下：

web:
  url: https://www.bing.com

tasks:
  - name: 搜索天气
    flow:
      - ai: 搜索 "今日天气"
      - sleep: 3000

  - name: 检查结果
    flow:
      - aiAssert: 结果中展示了天气信息

五 运行web ui用例

用例既可以单个执行，也可以按照文件夹（测试计划）运行。

1.执行编写好单个测试脚本：midscene web1.yaml

2.运行文件夹下的所有.yaml 文件：midscene './*.yaml'