快速上手3 步跑通 Midscene.js GUI 自动化拿到可回放的测试报告【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene面向 Web E2E 的开发者给 Midscene.js GUI 自动化预留 5 分钟就够装上 CLI、接上多模态模型用一句自然语言指令就能驱动浏览器最后拿到一份可视化报告。先想清楚你属于哪种用法Midscene.js 是面向 E2E 测试的 GUI Agent它看截图理解界面用自然语言驱动点击和输入再像人一样核对结果。它覆盖 Web、Android、iOS、HarmonyOS 和桌面端本文以 Web 为主线走通真机沿用同一套 Agent API后面可以平滑扩展。只想在网页上零搭建点点看看完「最小可运行路径」和模型配置后直接跳到「挑一条路跑起来」走 Chrome 扩展想接到 CI 里跑回归脚本重点看 CLI YAML 的写法末尾再调两个旋钮想控 Android、iOS 真机先读这篇熟悉概念再去看对应平台的指南最小可运行路径入口只有一条命令但有个前提Node 必须是 20.19、22.12 或 24否则构建工具链会直接报 Unsupported Node.js version。npm i -g midscene/cli装完之后你手里有三样东西一条全局命令 midscene一个 YAML 脚本对应一次执行一套 .env 约定dotenv 负责加载环境变量模型配置就写在这里一种能直接跑的脚本形态page 段声明目标网址tasks 段把流程写成自然语言步骤执行时自动开浏览器、打进度、生成 HTML 报告不想写脚本也行从浏览器商店装好 Chrome 扩展就能在侧边栏直接输指令。第一次启动 Playground 时看到的画面大致如此服务连上、界面上下文就绪随时可以输入指令点运行。把 AI 接上3 个关键配置项三个配置都放在工作目录的 .env 里扩展则在侧边栏设置页粘贴同样内容。它对接的是 OpenAI 兼容的多模态服务。MIDSCENE_MODEL_API_KEY不配的话指令一跑接口就回 401 或 403。填模型服务商签发的密钥注意 .env 里不要加 export 前缀。MIDSCENE_MODEL_BASE_URL最典型的错法是在末尾补上 /chat/completionsSDK 会自动拼接补了反而 404。只写以版本号结尾的服务地址即可。MIDSCENE_MODEL_NAME写成服务里不存在的名字会直接报 model not found。选一个具备 UI 定位能力的多模态模型同时配上对应的MIDSCENE_MODEL_FAMILY系列值决定坐标适配策略。验证只需一步跑一条最简单的指令「点击搜索栏」能定位并点中配置就算通了。挑一条路跑起来上手成本最低的一条路是 Chrome 扩展完整走读一遍。你从 Chrome 商店装好扩展 → 打开任意网页浏览器右侧出现 Midscene 面板上方 In-Browser Model Config 区域勾着刚配好的模型 → 把 Run 区域切到 Action 模式输入框里写「在搜索框输入 Midscene.js 并点击搜索」→ 点 Run。屏幕上的变化值得盯着看Agent 先截图理解页面随后搜索栏被红框高亮文字逐字敲入、回车结果页刷出来侧边栏底部给出 Insight 定位说明点 Report File 入口就能打开 HTML 报告。同一条指令写成 YAML 的 ai 步骤后用一条命令执行开浏览器、打进度、出报告的过程和扩展里完全一致midscene ./bing-search.yaml报告里左侧是步骤时间线点任意一步可以回放当时的截图和 AI 决策过程。卡住了大概率是这几个点最常见的坑集中在三类都很快能定位终端报 Unsupported Node.js versionNode 版本过低升到 20.19 / 22.12 / 24 后重装 CLI.env 保存后配置不生效文件没放在 CLI 的运行目录dotenv 只从运行目录读取扩展报 Cannot access a chrome-extension:// URL of different extension其他扩展向页面注入了 iframe 造成冲突用开发者工具按扩展 ID 找到并禁用它往深走之前先调好这两个旋钮对执行体验影响最大的两个参数是缓存开关和模型超时。Agent 的 cache 选项默认关闭。同一条指令在相似页面反复跑回归场景时配一个 id 启用读写缓存命中后跳过模型调用官方样例的执行耗时从 51 秒降到 28 秒查询类操作永不缓存规划失败会自动回退重新规划不用担心脏缓存MIDSCENE_MODEL_TIMEOUT默认 180 秒。模型响应慢或网络不稳就调大设 0 可禁用硬超时调完后长指令不再半途被切断收尾你现在的起点和下一步你已经能做的用 YAML 脚本或扩展驱动浏览器完成一段 E2E 流程拿到带回放时间线的报告接下来可以做的把用例组织进 Midscene Test 框架接上并发、重试和 CI 执行建议的下一步很小把示例脚本的网址改成你自己项目的首页写一条 ai 步骤加一条断言跑一遍看看报告长什么样。【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
快速上手：3 步跑通 Midscene.js GUI 自动化，拿到可回放的测试报告
快速上手3 步跑通 Midscene.js GUI 自动化拿到可回放的测试报告【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene面向 Web E2E 的开发者给 Midscene.js GUI 自动化预留 5 分钟就够装上 CLI、接上多模态模型用一句自然语言指令就能驱动浏览器最后拿到一份可视化报告。先想清楚你属于哪种用法Midscene.js 是面向 E2E 测试的 GUI Agent它看截图理解界面用自然语言驱动点击和输入再像人一样核对结果。它覆盖 Web、Android、iOS、HarmonyOS 和桌面端本文以 Web 为主线走通真机沿用同一套 Agent API后面可以平滑扩展。只想在网页上零搭建点点看看完「最小可运行路径」和模型配置后直接跳到「挑一条路跑起来」走 Chrome 扩展想接到 CI 里跑回归脚本重点看 CLI YAML 的写法末尾再调两个旋钮想控 Android、iOS 真机先读这篇熟悉概念再去看对应平台的指南最小可运行路径入口只有一条命令但有个前提Node 必须是 20.19、22.12 或 24否则构建工具链会直接报 Unsupported Node.js version。npm i -g midscene/cli装完之后你手里有三样东西一条全局命令 midscene一个 YAML 脚本对应一次执行一套 .env 约定dotenv 负责加载环境变量模型配置就写在这里一种能直接跑的脚本形态page 段声明目标网址tasks 段把流程写成自然语言步骤执行时自动开浏览器、打进度、生成 HTML 报告不想写脚本也行从浏览器商店装好 Chrome 扩展就能在侧边栏直接输指令。第一次启动 Playground 时看到的画面大致如此服务连上、界面上下文就绪随时可以输入指令点运行。把 AI 接上3 个关键配置项三个配置都放在工作目录的 .env 里扩展则在侧边栏设置页粘贴同样内容。它对接的是 OpenAI 兼容的多模态服务。MIDSCENE_MODEL_API_KEY不配的话指令一跑接口就回 401 或 403。填模型服务商签发的密钥注意 .env 里不要加 export 前缀。MIDSCENE_MODEL_BASE_URL最典型的错法是在末尾补上 /chat/completionsSDK 会自动拼接补了反而 404。只写以版本号结尾的服务地址即可。MIDSCENE_MODEL_NAME写成服务里不存在的名字会直接报 model not found。选一个具备 UI 定位能力的多模态模型同时配上对应的MIDSCENE_MODEL_FAMILY系列值决定坐标适配策略。验证只需一步跑一条最简单的指令「点击搜索栏」能定位并点中配置就算通了。挑一条路跑起来上手成本最低的一条路是 Chrome 扩展完整走读一遍。你从 Chrome 商店装好扩展 → 打开任意网页浏览器右侧出现 Midscene 面板上方 In-Browser Model Config 区域勾着刚配好的模型 → 把 Run 区域切到 Action 模式输入框里写「在搜索框输入 Midscene.js 并点击搜索」→ 点 Run。屏幕上的变化值得盯着看Agent 先截图理解页面随后搜索栏被红框高亮文字逐字敲入、回车结果页刷出来侧边栏底部给出 Insight 定位说明点 Report File 入口就能打开 HTML 报告。同一条指令写成 YAML 的 ai 步骤后用一条命令执行开浏览器、打进度、出报告的过程和扩展里完全一致midscene ./bing-search.yaml报告里左侧是步骤时间线点任意一步可以回放当时的截图和 AI 决策过程。卡住了大概率是这几个点最常见的坑集中在三类都很快能定位终端报 Unsupported Node.js versionNode 版本过低升到 20.19 / 22.12 / 24 后重装 CLI.env 保存后配置不生效文件没放在 CLI 的运行目录dotenv 只从运行目录读取扩展报 Cannot access a chrome-extension:// URL of different extension其他扩展向页面注入了 iframe 造成冲突用开发者工具按扩展 ID 找到并禁用它往深走之前先调好这两个旋钮对执行体验影响最大的两个参数是缓存开关和模型超时。Agent 的 cache 选项默认关闭。同一条指令在相似页面反复跑回归场景时配一个 id 启用读写缓存命中后跳过模型调用官方样例的执行耗时从 51 秒降到 28 秒查询类操作永不缓存规划失败会自动回退重新规划不用担心脏缓存MIDSCENE_MODEL_TIMEOUT默认 180 秒。模型响应慢或网络不稳就调大设 0 可禁用硬超时调完后长指令不再半途被切断收尾你现在的起点和下一步你已经能做的用 YAML 脚本或扩展驱动浏览器完成一段 E2E 流程拿到带回放时间线的报告接下来可以做的把用例组织进 Midscene Test 框架接上并发、重试和 CI 执行建议的下一步很小把示例脚本的网址改成你自己项目的首页写一条 ai 步骤加一条断言跑一遍看看报告长什么样。【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
