3步上手UI-TARS：让AI替你点击、输入、操控整个电脑-北京尧图网络

3步上手UI-TARS让AI替你点击、输入、操控整个电脑【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS想象一下你只需要说一句打开文档、输入 hello、然后保存屏幕上的鼠标就自己动起来了。这正是 UI-TARS 在做的事——一个由视觉语言模型驱动的 GUI 自动化智能体它看着你的屏幕思考下一步该干嘛然后真的去点击、拖拽、输入。对想批量操作电脑、跑 UI 自动化测试、或搭建桌面 Agent 的人来说它把看图→决策→执行整条链路都开源了出来。它是什么凭什么值得装UI-TARS 不是传统的按键录制工具而是一个能理解界面的 Agent。它吃进一张截图和一句自然语言指令吐出带坐标的动作点击、输入、滚动等再由ui-tars这个 Python 包把动作翻译成可执行的 pyautogui 代码。你不需要手写定位逻辑也不用维护脆弱的控件树跨分辨率、跨应用都能跑。它适合自动化工程师、测试同学以及想搭桌面 / 手机 Agent 的开发者。5分钟跑通第一个动作先装上解析包再把模型输出的一句话翻译成真实坐标pip install ui-tarsfrom ui_tars.action_parser import parse_action_to_structure_output resp Thought: Click the button\nAction: click(start_box(100,200)) parsed parse_action_to_structure_output(resp, factor1000, origin_resized_height1080, origin_resized_width1920, model_typeqwen25vl) print(parsed)到这里你手里已经握着结构化动作了剩下的执行交给 pyautogui 就行。三个核心能力看懂屏幕说出点什么UI-TARS 的强项在于感知决策。给它一张截图它会先描述看到了什么——元素、状态、界面结构——再给出 Thought 与 Action。这意味着它能处理点那个蓝色的确认按钮这类模糊指令而不是死板的控件名。跨分辨率的坐标换算模型输出的坐标是相对值ui-tars负责智能缩放与还原把它映射回你真实屏幕上的像素位置。下面这张图就是坐标可视化效果红点标出了模型真正瞄准的位置拿不准坐标对不对直接翻官方整理的坐标处理指南。一套动作空间电脑手机通吃同一套模型切换 Prompt 模板就能覆盖不同平台桌面用COMPUTER_USE点击、双击、拖拽、快捷键、滚动手机用MOBILE_USE长按、打开 App、返回、主页轻量评测用GROUNDING只输出动作不输出思考。模板定义见 codes/ui_tars/prompt.py。感知、动作、推理、学习构成的完整能力闭环大致是这样的一个完整工作流从截图到自动执行以自动填写并保存设置为例串起来就是四步部署模型用 HuggingFace Inference Endpoints 拉起 UI-TARS-1.5-7B流程见部署指南。喂入截图指令把当前屏幕截图和任务描述发给模型。解析动作拿到click/type等结构化动作坐标已还原到 1920×1080。执行生成 pyautogui 脚本并运行。from ui_tars.action_parser import parsing_response_to_pyautogui_code code parsing_response_to_pyautogui_code(parsed, image_height1080, image_width1920) print(code)每执行一步就再截一张图喂回去Agent 就能多步走到底。横向对比与适用边界在公开基准上UI-TARS-1.5 的成绩大致如下基准类型基准UI-TARS-1.5OpenAI CUAClaude 3.7计算机操作OSWorld100步42.536.428手机操作Android World64.2——界面定位ScreenSpotPro61.623.427.7但它并不适合这些场景需要 7×24 稳定运行的高并发生产调度模型算力开销大对单次点击延迟极度敏感的实时交互以及你只是想录制一段固定按键序列——那种情况下传统脚本更快更省。此外它偶尔会幻觉在陌生或模糊界面上可能点错关键操作前建议保留人工兜底。常见问题Q坐标总是偏一点A确认传入的origin_resized_width / height是原图真实分辨率别用缩放后的值。Q部署 7B 需要多大的卡A官方建议单卡 L40S 48G 或 A100记得加环境变量CUDA_GRAPHS0防部署失败。Q能在手机上用吗A可以切到MOBILE_USE模板即可支持长按、打开应用、返回等动作。Q我的模型输出格式匹配吗Amodel_type支持qwen25vl、doubao等按你实际用的视觉模型选对即可。延伸资源部署与推理README_deploy.md坐标处理详解README_coordinates.mdPython 包 APIcodes/README.mdPrompt 模板codes/ui_tars/prompt.py项目论文UI_TARS_paper.pdf【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

3步上手UI-TARS：让AI替你点击、输入、操控整个电脑

相关推荐

DS2API OpenAI Chat接口完整参考：/v1/chat/completions 参数逐项说明

语音识别特征提取：从Python零实现Log-Mel谱图

EIP-7609 解读：为 TLOAD/TSTORE 引入超线性定价模型，重构瞬态存储 Gas 成本

更多资讯

Python+gensim中文LDA主题模型实战：从分词到可视化

5种鲜花图像分类实战：数据集构建、ResNet微调与Grad-CAM可解释性分析

Hermes-Agent：可审计、可追溯的AI智能体学习闭环工程实践

反周期投资策略：市场情绪与价值回归的实战指南

DEM高程数据处理实战：坐标转换、多源融合与垂直基准校正

2023年免费FTP客户端推荐：Win11下五大工具实测对比与安全配置指南

今日更新

基于高阶循环谱的MPSK载波频率估计与MATLAB实现

MiniPdf方：.NET开源Office转PDF的高效解决方案

Solon AI v3.10：Java全栈智能体开发框架解析

本周精选

AI驱动的自动化专利分析平台技术解析

LeetCode-Go 题解：1252. Cells with Odd Values in a Matrix（奇数值单元格计数）双解法剖析

在线答疑系统Java毕设实战：Spring Boot前后端分离与状态流转

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？