Midscene.js 安装与配置指南3 条命令跑通 AI 视觉自动化【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midsceneMidscene.js 是一个面向 E2E 测试的开源 GUI Agent——靠截图工作的 AI 操作助手覆盖浏览器、Android、iOS 和桌面端。这篇指南带你完成环境配置并跑通本地 Playground做完后你就能用一句自然语言让它点击、填表、提取数据不用写任何选择器。这个 AI 操作助手能替你做什么想象三个场景。一是 Web 回归测试表单十几个必填项Midscene 只看截图按填写用户名和密码点击登录逐步完成每步都留痕在报告里。二是手机测试接上 Android 设备一句打开设置检查当前 Android 版本号它就进设置、找到 My device 页面、把 MIUI 版本读给你。三是在 iOS 上用自然语言下一单咖啡。它不依赖 DOM 选择器人眼看得见的元素它都能点这正是传统自动化最头疼的地方。环境自检清单这是个 NX monorepo装依赖时会顺手构建全部包所以版本别踩线项目要求说明Node.js20.19.0 及以上或 22.12、24写死在根 package.json 的 engines 里pnpm9.3.0 及以上packageManager 字段锁定 pnpm9.3.0模型 APIqwen3-vl-plus、UI-TARS 等多模态模型仅跑 AI 测试时需要开源模型可自托管磁盘留出数 GB 空闲20 多个包加 nx 构建缓存都要落盘Node 和 pnpm 都满足后就可以开工缺 pnpm 时执行corepack enable即可不用单独装。三条命令把它跑起来第一步克隆仓库git clone https://gitcode.com/GitHub_Trending/mid/midscene cd midscene第二步安装依赖pnpm install首次安装会自动执行pnpm run build构建所有包需要几分钟。成功长什么样全程没有红色报错各包下生成 dist 目录。第三步启动 Web 演示cd apps/playground pnpm run devrsbuild dev 会自动打开浏览器左侧是 Midscene.js 侧栏输入自然语言指令点 Run右侧出现页面预览就代表跑通了。要跑 AI 测试的话在根目录再建一个.envOPENAI_API_KEYyour_token MIDSCENE_MODEL_NAMEqwen3-vl-plus先看这三个目录20 多个包不必一次看完新手抓住三处就够packages/core/发动机舱agent 执行、规划、模型接入、设备抽象都在里面。想知道截图怎么变成一次点击从这儿读起。apps/playground/你刚跑起来的 Web 演示内置 puppeteer 拉起真实浏览器demo/ 目录里还有配套本地服务器。apps/site/docs/zh/中文文档就在仓库里quick-start.mdx 是最完整的上手路径Android、iOS、桌面端各有平台子目录。最容易踩的三个坑⚠️ 报Template does not contain {{dump}} placeholder多发生在只构建单个包时。包之间有循环依赖别单独构建midscene/core回根目录执行pnpm run build整体构建。⚠️ 报Cannot find module ./report-html-template.jsCore 的报告模板依赖midscene/report的构建产物执行pnpm exec nx build midscene/report补上即可。⚠️ AI 测试报缺 key确认.env在仓库根目录且两行变量都写对了模型名可换成你手上任意多模态模型。接下来读 apps/site/docs/zh/quick-start.mdx按步骤配置模型、装上 Chrome 扩展在浏览器里直接试。连上开 USB 调试的手机按 apps/site/docs/zh/platforms/ 里的 Android 指南启动手机版 Playground。验证本地构建根目录跑pnpm run test全量单测或用npx nx test midscene/web只测单个包。【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Midscene.js 安装与配置指南：3 条命令跑通 AI 视觉自动化
Midscene.js 安装与配置指南3 条命令跑通 AI 视觉自动化【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midsceneMidscene.js 是一个面向 E2E 测试的开源 GUI Agent——靠截图工作的 AI 操作助手覆盖浏览器、Android、iOS 和桌面端。这篇指南带你完成环境配置并跑通本地 Playground做完后你就能用一句自然语言让它点击、填表、提取数据不用写任何选择器。这个 AI 操作助手能替你做什么想象三个场景。一是 Web 回归测试表单十几个必填项Midscene 只看截图按填写用户名和密码点击登录逐步完成每步都留痕在报告里。二是手机测试接上 Android 设备一句打开设置检查当前 Android 版本号它就进设置、找到 My device 页面、把 MIUI 版本读给你。三是在 iOS 上用自然语言下一单咖啡。它不依赖 DOM 选择器人眼看得见的元素它都能点这正是传统自动化最头疼的地方。环境自检清单这是个 NX monorepo装依赖时会顺手构建全部包所以版本别踩线项目要求说明Node.js20.19.0 及以上或 22.12、24写死在根 package.json 的 engines 里pnpm9.3.0 及以上packageManager 字段锁定 pnpm9.3.0模型 APIqwen3-vl-plus、UI-TARS 等多模态模型仅跑 AI 测试时需要开源模型可自托管磁盘留出数 GB 空闲20 多个包加 nx 构建缓存都要落盘Node 和 pnpm 都满足后就可以开工缺 pnpm 时执行corepack enable即可不用单独装。三条命令把它跑起来第一步克隆仓库git clone https://gitcode.com/GitHub_Trending/mid/midscene cd midscene第二步安装依赖pnpm install首次安装会自动执行pnpm run build构建所有包需要几分钟。成功长什么样全程没有红色报错各包下生成 dist 目录。第三步启动 Web 演示cd apps/playground pnpm run devrsbuild dev 会自动打开浏览器左侧是 Midscene.js 侧栏输入自然语言指令点 Run右侧出现页面预览就代表跑通了。要跑 AI 测试的话在根目录再建一个.envOPENAI_API_KEYyour_token MIDSCENE_MODEL_NAMEqwen3-vl-plus先看这三个目录20 多个包不必一次看完新手抓住三处就够packages/core/发动机舱agent 执行、规划、模型接入、设备抽象都在里面。想知道截图怎么变成一次点击从这儿读起。apps/playground/你刚跑起来的 Web 演示内置 puppeteer 拉起真实浏览器demo/ 目录里还有配套本地服务器。apps/site/docs/zh/中文文档就在仓库里quick-start.mdx 是最完整的上手路径Android、iOS、桌面端各有平台子目录。最容易踩的三个坑⚠️ 报Template does not contain {{dump}} placeholder多发生在只构建单个包时。包之间有循环依赖别单独构建midscene/core回根目录执行pnpm run build整体构建。⚠️ 报Cannot find module ./report-html-template.jsCore 的报告模板依赖midscene/report的构建产物执行pnpm exec nx build midscene/report补上即可。⚠️ AI 测试报缺 key确认.env在仓库根目录且两行变量都写对了模型名可换成你手上任意多模态模型。接下来读 apps/site/docs/zh/quick-start.mdx按步骤配置模型、装上 Chrome 扩展在浏览器里直接试。连上开 USB 调试的手机按 apps/site/docs/zh/platforms/ 里的 Android 指南启动手机版 Playground。验证本地构建根目录跑pnpm run test全量单测或用npx nx test midscene/web只测单个包。【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
