UI-TARS GUI 自动操作模型实战指南让电脑替你点鼠标、敲键盘【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS每天早上登录同一个内部系统、导同一份报表、点同一批按钮这种重复劳动最消耗时间。这类活儿能不能干脆交给电脑自己干UI-TARS 是字节跳动开源的 GUI 自动操作模型给它一张屏幕截图它会输出点击 (100,200)、输入 hello、滚动这类可直接执行的动作。这篇指南带你跑通两种部署方式把模型输出解析成真实点击并看看它在公开基准上的真实成绩。️ 先认识 UI-TARS看屏幕、想思路、出动作UI-TARS 的工作闭环是看屏幕 → 想 → 做感知识别当前截图里的按钮、输入框、菜单等界面元素推理先输出一段 Thought说明它看到什么、为什么要这样点动作再输出标准动作如click(start_box(100,200))、type(hello)、滚动等。动作空间覆盖单击、双击、右键、拖拽、键盘快捷键和滚动在 Android 端还支持长按、打开应用、按 Home/Back。仓库内置了三套现成的提示词模板按场景选一个即可COMPUTER_USEWindows、macOS、Linux 桌面任务适合浏览器导航、办公软件、文件管理MOBILE_USE真机或 Android 模拟器GROUNDING只输出动作、不带思考适合做纯定位评估。模板源码见 codes/ui_tars/prompt.py。版本线也简单UI-TARS-72B-DPO 是研究用旗舰版UI-TARS-1.5-7B 是开源可自部署的版本2025 年 9 月又推出了 UI-TARS-2在 GUI、游戏、代码和工具调用上做了整体升级。☁️ 两条路径跑起来云端推理端点或桌面版云端部署在 Hugging Face Inference Endpoints 平台导入 UI-TARS 1.5 7B 模型关键配置如下硬件选GPU L40S 1GPU 48GNvidia L4 或 A100 也可Max Input Length (per Query)和Max Number of Tokens (per Query)都设到 65536 左右加环境变量CUDA_GRAPHS0和PAYLOAD_LIMIT8000000避免部署失败和大图请求被拒。部署完成后你会拿到一个 OpenAI 兼容的 API几行 Python 就能发起第一次预测。完整截图步骤在 README_deploy.md。本地部署想直接在自己电脑上跑官方另有 UI-TARS-desktop 桌面版项目提供图形界面、开箱即用。本仓库本身也值得克隆下来看看结构git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS里面主要是提示词模板和动作解析代码这两部分合起来就是模型输出 → 真实操作的后处理管线。 把模型输出变成真实点击ui-tars 三行解析模型吐出的是字符串要真正驱动电脑还得把坐标换算回你的屏幕。官方封装在ui-tars包里pip install ui-tars # 或 uv pip install ui-tarsfrom ui_tars.action_parser import parse_action_to_structure_output response Action: click(start_box(100,200)) parsed parse_action_to_structure_output( response, factor1000, model_typeqwen25vl, origin_resized_height1080, origin_resized_width1920) print(parsed)两个容易踩的坑Qwen2.5-VL 底座用的是绝对坐标定位origin_resized_width/height必须传你截图的真实分辨率否则点击位置会整体偏移拿到解析结果后再调parsing_response_to_pyautogui_code就能生成 pyautogui 代码在本地直接执行。坐标映射的完整推导见 README_coordinates.md仓库附带了可视化示例红点是否落在目标元素上一眼就能验证 基准成绩真实桌面与游戏里有多能打挑 README 里的几个数字OSWorld100 步电脑操作UI-TARS-1.5 得 42.5OpenAI CUA 36.4Claude 3.7 为 28ScreenSpot-V2 / ScreenSpotPro元素定位94.2 与 61.6两项均为表中第一Android World手机操作64.2此前 SOTA 是 59.5Poki 网页游戏14 款小游戏中 13 款拿到满分 100而 CUA 和 Claude 3.7 在多款游戏上是 0 分。下面这张论文配图展示了 UI-TARS-72B 与 7B 相对此前 SOTA 的多基准提升幅度也要说句实在话大规模任务和长时间游戏很吃算力陌生环境里偶有幻觉误点——README 的 Limitations 一节把这些都如实列了出来参考后再决定使用边界。从一个小任务开始试建议先别碰复杂流程用GROUNDING模板在一张 1080p 截图上跑定位某个按钮把坐标管线跑通再换成COMPUTER_USE做单击、单输入这类一步任务。等你确认红点能稳定落在目标上多步骤自动化自然就是水到渠成的事了。【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
UI-TARS GUI 自动操作模型实战指南：让电脑替你点鼠标、敲键盘
UI-TARS GUI 自动操作模型实战指南让电脑替你点鼠标、敲键盘【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS每天早上登录同一个内部系统、导同一份报表、点同一批按钮这种重复劳动最消耗时间。这类活儿能不能干脆交给电脑自己干UI-TARS 是字节跳动开源的 GUI 自动操作模型给它一张屏幕截图它会输出点击 (100,200)、输入 hello、滚动这类可直接执行的动作。这篇指南带你跑通两种部署方式把模型输出解析成真实点击并看看它在公开基准上的真实成绩。️ 先认识 UI-TARS看屏幕、想思路、出动作UI-TARS 的工作闭环是看屏幕 → 想 → 做感知识别当前截图里的按钮、输入框、菜单等界面元素推理先输出一段 Thought说明它看到什么、为什么要这样点动作再输出标准动作如click(start_box(100,200))、type(hello)、滚动等。动作空间覆盖单击、双击、右键、拖拽、键盘快捷键和滚动在 Android 端还支持长按、打开应用、按 Home/Back。仓库内置了三套现成的提示词模板按场景选一个即可COMPUTER_USEWindows、macOS、Linux 桌面任务适合浏览器导航、办公软件、文件管理MOBILE_USE真机或 Android 模拟器GROUNDING只输出动作、不带思考适合做纯定位评估。模板源码见 codes/ui_tars/prompt.py。版本线也简单UI-TARS-72B-DPO 是研究用旗舰版UI-TARS-1.5-7B 是开源可自部署的版本2025 年 9 月又推出了 UI-TARS-2在 GUI、游戏、代码和工具调用上做了整体升级。☁️ 两条路径跑起来云端推理端点或桌面版云端部署在 Hugging Face Inference Endpoints 平台导入 UI-TARS 1.5 7B 模型关键配置如下硬件选GPU L40S 1GPU 48GNvidia L4 或 A100 也可Max Input Length (per Query)和Max Number of Tokens (per Query)都设到 65536 左右加环境变量CUDA_GRAPHS0和PAYLOAD_LIMIT8000000避免部署失败和大图请求被拒。部署完成后你会拿到一个 OpenAI 兼容的 API几行 Python 就能发起第一次预测。完整截图步骤在 README_deploy.md。本地部署想直接在自己电脑上跑官方另有 UI-TARS-desktop 桌面版项目提供图形界面、开箱即用。本仓库本身也值得克隆下来看看结构git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS里面主要是提示词模板和动作解析代码这两部分合起来就是模型输出 → 真实操作的后处理管线。 把模型输出变成真实点击ui-tars 三行解析模型吐出的是字符串要真正驱动电脑还得把坐标换算回你的屏幕。官方封装在ui-tars包里pip install ui-tars # 或 uv pip install ui-tarsfrom ui_tars.action_parser import parse_action_to_structure_output response Action: click(start_box(100,200)) parsed parse_action_to_structure_output( response, factor1000, model_typeqwen25vl, origin_resized_height1080, origin_resized_width1920) print(parsed)两个容易踩的坑Qwen2.5-VL 底座用的是绝对坐标定位origin_resized_width/height必须传你截图的真实分辨率否则点击位置会整体偏移拿到解析结果后再调parsing_response_to_pyautogui_code就能生成 pyautogui 代码在本地直接执行。坐标映射的完整推导见 README_coordinates.md仓库附带了可视化示例红点是否落在目标元素上一眼就能验证 基准成绩真实桌面与游戏里有多能打挑 README 里的几个数字OSWorld100 步电脑操作UI-TARS-1.5 得 42.5OpenAI CUA 36.4Claude 3.7 为 28ScreenSpot-V2 / ScreenSpotPro元素定位94.2 与 61.6两项均为表中第一Android World手机操作64.2此前 SOTA 是 59.5Poki 网页游戏14 款小游戏中 13 款拿到满分 100而 CUA 和 Claude 3.7 在多款游戏上是 0 分。下面这张论文配图展示了 UI-TARS-72B 与 7B 相对此前 SOTA 的多基准提升幅度也要说句实在话大规模任务和长时间游戏很吃算力陌生环境里偶有幻觉误点——README 的 Limitations 一节把这些都如实列了出来参考后再决定使用边界。从一个小任务开始试建议先别碰复杂流程用GROUNDING模板在一张 1080p 截图上跑定位某个按钮把坐标管线跑通再换成COMPUTER_USE做单击、单输入这类一步任务。等你确认红点能稳定落在目标上多步骤自动化自然就是水到渠成的事了。【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
