UI-TARS用多模态智能体 5 分钟跑起游戏自动化测试【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARSUI-TARS 是开源多模态 GUI 智能体把屏幕截图和自然语言指令变成可执行的点击、输入操作用于游戏和桌面软件的 AI 自动化测试。下文拆解其原理、部署方式与基准数据帮你评估是否纳入测试流程。⏱️ 30 秒速览项目内容一句话定位开源多模态 GUI 智能体将截图 指令转成可执行操作支持游戏与 UI 自动化测试核心能力元素 grounding 定位ScreenSpot-V2 得分 94.2、一键生成 pyautogui 脚本、动作前先 Thought 推理显存要求7B 模型官方推荐 L40S 48G备选 L4 / A100部署方式HuggingFace Endpoints 云端部署本地 pip 安装 ui-tars 做后处理适用平台桌面Windows / Linux / macOS、Android 模拟器、网页游戏、Minecraft它解决什么问题重复回归耗时登录、新手引导、资源采集等核心流程需要反复执行数百轮人工操作慢且占用测试人力。点击精度难保证手工点击依赖操作者状态跨分辨率时难以复现相同的目标位置。覆盖率受时间约束多设备、多分辨率的组合数量成倍增长有限测试窗口内很难全部覆盖。 核心能力拆解UI-TARS 的架构分为感知、动作、System-2 推理与经验学习四个模块。看懂画面grounding 定位UI-TARS-1.5 在 ScreenSpot-V2 基准得分 94.2ScreenSpotPro 得分 61.6均领先对比模型。模型接收截图后能给出目标元素坐标这是自动化测试的基础能力。做出动作从模型输出到可执行脚本模型输出遵循ThoughtAction的固定格式动作空间覆盖点击、双击、右键、拖拽、快捷键、文本输入、滚动、等待与结束移动端另有长按、打开应用、主页键、返回键。本地ui-tars包把这类输出解析为结构化字典再转成 pyautogui 脚本坐标缩放由包内自动处理。判断对错Thought 推理与事后核对UI-TARS-1.5 引入强化学习增强推理每一步先写 Thought 再给 Action核对推理链与截图即可定位出错环节。若只评估纯定位能力可改用 GROUNDING 模板只输出 Action 不带推理。 5 分钟上手前置条件Python 3.10包要求3.10,4.0可用 pip 或 uv部署 7B 模型需要 GPU官方推荐 L40S 48G本地仅做动作解析则不需要git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS cd UI-TARS pip install ui-tars python codes/tests/action_parser_test.py完整的 UI-TARS 部署流程、API 参数与坐标转换细节见仓库内 README_deploy.md 与 README_coordinates.md。 数据验证Poki 平台网页游戏通过率单位%游戏UI-TARS-1.5OpenAI CUA2048100.0031.04wood-blocks-3d100.002.02Maze:Path-of-Light100.0035.00snake-solver100.0042.86hex-frvr100.0092.25数据出处仓库 README 的 Performance 章节模型为 UI-TARS-1.5对比对象为 OpenAI CUA测试对象为 Poki 平台 14 款网页游戏。上手前须知存在幻觉风险官方说明指出在模糊或不熟悉的环境中模型可能误识别元素、执行错误动作关键流程建议逐步留存 Thought 与截图供复核。7B 版未针对游戏优化开源的 UI-TARS-1.5-7B 侧重通用电脑操作游戏场景下完整 1.5 版本优势明显做游戏QA自动化时注意版本差异。算力占用不低长会话与大型任务消耗较多计算资源官方部署文档建议使用 48G 显存实例。资源清单README_deploy.md —— 部署推理指南README_coordinates.md —— 坐标处理教程codes/ui_tars/ —— 动作解析源码data/ —— 测试消息样例文中数据基于 UI-TARS-1.5 官方报告实际表现可能因模型版本、GPU 配置与屏幕分辨率不同而存在差异。【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
UI-TARS：用多模态智能体 5 分钟跑起游戏自动化测试
UI-TARS用多模态智能体 5 分钟跑起游戏自动化测试【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARSUI-TARS 是开源多模态 GUI 智能体把屏幕截图和自然语言指令变成可执行的点击、输入操作用于游戏和桌面软件的 AI 自动化测试。下文拆解其原理、部署方式与基准数据帮你评估是否纳入测试流程。⏱️ 30 秒速览项目内容一句话定位开源多模态 GUI 智能体将截图 指令转成可执行操作支持游戏与 UI 自动化测试核心能力元素 grounding 定位ScreenSpot-V2 得分 94.2、一键生成 pyautogui 脚本、动作前先 Thought 推理显存要求7B 模型官方推荐 L40S 48G备选 L4 / A100部署方式HuggingFace Endpoints 云端部署本地 pip 安装 ui-tars 做后处理适用平台桌面Windows / Linux / macOS、Android 模拟器、网页游戏、Minecraft它解决什么问题重复回归耗时登录、新手引导、资源采集等核心流程需要反复执行数百轮人工操作慢且占用测试人力。点击精度难保证手工点击依赖操作者状态跨分辨率时难以复现相同的目标位置。覆盖率受时间约束多设备、多分辨率的组合数量成倍增长有限测试窗口内很难全部覆盖。 核心能力拆解UI-TARS 的架构分为感知、动作、System-2 推理与经验学习四个模块。看懂画面grounding 定位UI-TARS-1.5 在 ScreenSpot-V2 基准得分 94.2ScreenSpotPro 得分 61.6均领先对比模型。模型接收截图后能给出目标元素坐标这是自动化测试的基础能力。做出动作从模型输出到可执行脚本模型输出遵循ThoughtAction的固定格式动作空间覆盖点击、双击、右键、拖拽、快捷键、文本输入、滚动、等待与结束移动端另有长按、打开应用、主页键、返回键。本地ui-tars包把这类输出解析为结构化字典再转成 pyautogui 脚本坐标缩放由包内自动处理。判断对错Thought 推理与事后核对UI-TARS-1.5 引入强化学习增强推理每一步先写 Thought 再给 Action核对推理链与截图即可定位出错环节。若只评估纯定位能力可改用 GROUNDING 模板只输出 Action 不带推理。 5 分钟上手前置条件Python 3.10包要求3.10,4.0可用 pip 或 uv部署 7B 模型需要 GPU官方推荐 L40S 48G本地仅做动作解析则不需要git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS cd UI-TARS pip install ui-tars python codes/tests/action_parser_test.py完整的 UI-TARS 部署流程、API 参数与坐标转换细节见仓库内 README_deploy.md 与 README_coordinates.md。 数据验证Poki 平台网页游戏通过率单位%游戏UI-TARS-1.5OpenAI CUA2048100.0031.04wood-blocks-3d100.002.02Maze:Path-of-Light100.0035.00snake-solver100.0042.86hex-frvr100.0092.25数据出处仓库 README 的 Performance 章节模型为 UI-TARS-1.5对比对象为 OpenAI CUA测试对象为 Poki 平台 14 款网页游戏。上手前须知存在幻觉风险官方说明指出在模糊或不熟悉的环境中模型可能误识别元素、执行错误动作关键流程建议逐步留存 Thought 与截图供复核。7B 版未针对游戏优化开源的 UI-TARS-1.5-7B 侧重通用电脑操作游戏场景下完整 1.5 版本优势明显做游戏QA自动化时注意版本差异。算力占用不低长会话与大型任务消耗较多计算资源官方部署文档建议使用 48G 显存实例。资源清单README_deploy.md —— 部署推理指南README_coordinates.md —— 坐标处理教程codes/ui_tars/ —— 动作解析源码data/ —— 测试消息样例文中数据基于 UI-TARS-1.5 官方报告实际表现可能因模型版本、GPU 配置与屏幕分辨率不同而存在差异。【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
