尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
UI-TARS 桌面版:说句话就能控制电脑的开源 Agent
UI-TARS 桌面版说句话就能控制电脑的开源 Agent【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop周五下午领导让你导出昨天的数据报表。你坐在电脑前对 UI-TARS 桌面版——一个基于 UI-TARS 视觉语言模型的多模态 AI Agent 桌面应用——说打开浏览器找到数据平台最后一张表把报表下载下来然后转身去倒杯水。回来时活儿已经干完了。全程你只说了一句自然语言鼠标和键盘成了它的手。它到底能替你做什么替你点鼠标—— 靠屏幕截图定位按钮和输入框不依赖网页 DOM替你敲键盘—— 能输入中文、粘贴文本也能发组合快捷键替你开浏览器—— 打开网页、填搜索词、点进目标页面读内容替你跨应用搬数据—— 从一个窗口复制文字贴进另一个应用替你记录过程—— 任务结束后导出逐步执行报告可回放每一步一句话你说它点。UI-TARS 桌面版主界面从零跑起来安装 UI-TARS 桌面版并完成首次任务环境准备硬性要求只有两条。你打算跑浏览器任务的话先装好 Chrome、Edge 或 Firefox 之一。它目前只在单显示器下稳定多屏用户先拔一根线。确认你机器上有 Homebrewbrew --version没有输出的话先按 Homebrew 官方说明装好再回来。安装macOS 上一条命令装完brew install --cask ui-tars装好后把应用拖进应用程序文件夹Windows 用户直接双击安装程序跟着向导走。拖入应用程序文件夹安装然后去系统设置 → 隐私与安全性把辅助功能和屏幕录制两项权限都打开。不开这两项它看得见也点不动。开启两项系统权限首次任务把系统音量调到 50%先接上模型打开设置页选 VLM 提供商把模型服务给的 Base URL、API 密钥、模型名填进去点Check Model Availability确认连通。具体开关下面会讲。然后点新建任务选本地计算机模式发这句话打开系统设置把系统音量调到50%等十几秒看着音量条自己走到一半它就通了。输入指令即可开工自然语言变成鼠标点击原理 30 秒相当于一个人戴着 AR 眼镜边看屏幕边伸手。它先截一张当前屏幕的图UI-TARS 视觉模型认出哪个按钮在哪个位置返回动作文本动作解析器把文本翻译成坐标和按键操作器替你动真格的鼠标键盘。每一轮循环都是这四步循环到任务完成。拿 3 个真实任务试手感任务一本地桌面调音量你说「打开系统设置把系统音量调到50%」它做找到设置应用展开声音面板拖动音量条结果音量条停在 50% 刻度坑设置窗口被最小化了它找不到。先把窗口挪到桌面再下指令任务二浏览器查数据你说「打开浏览器搜索 UI-TARS告诉我第一个结果页面上的星标数」它做开浏览器输入搜索词点进第一个链接读出页面上的数字结果星标数直接出现在它的回复里坑网页弹窗挡住按钮。手动先关一次或指令里加一句若有弹窗先关闭任务三跨应用搬文本你说「把文档里选中的那段话复制到系统备忘录里」它做激活文档窗口发送复制切到备忘录窗口粘贴结果备忘录里多了一段刚选中的文字坑应用叫昵称容易认错。按 Dock 上的正式名称写配置别只填默认值3 个影响体验的开关打开设置页下面三项直接决定任务顺不顺。VLM Provider→ 改成与你部署模型对应的提供商比如Hugging Face for UI-TARS-1.5→ 不改会怎样动作文本格式对不上它要么点空要么干脆不动。VLM Base URL→ 填模型服务给的端点末尾必须带/v1/→ 不改会怎样模型可用性检查直接失败首个任务都发不出去。Loop Wait Time→ 页面动画或加载慢时从默认 1000 毫秒加到 2000 左右 → 不改会怎样它可能在页面没渲染完时就截图认错按钮、点错位。填入端点、密钥与模型名卡住了先查这里屏幕不动 → 缺辅助功能或录屏权限 → 系统设置里打开两项模型检查失败 → Base URL 没以 /v1/ 结尾 → 回设置补上点击位置不对 → 提供商和模型不匹配 → 切换 VLM Provider任务做一半停了 → 撞上 Max Loop 上限 → 调大上限或拆小任务想再深一层桌面应用只是入口。底层ui-tars/sdk是跨平台工具包同一个 Agent 能在 Node.js 和 Web 里跑源码在packages/ui-tars/sdk/它调用的本地桌面、浏览器、ADB 等 operator 实现都在packages/ui-tars/operators/想把模型接到自己的设备就从这里入手。文档看三处就够快速开始安装与配置、设置指南参数全表、SDK 文档开发者参考。倒水回来时报表已经躺在桌面上了这就是文章开头那一幕。今晚你可以只做一件事装好它连上模型把音量调到50%这句话发出去。【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED

相关推荐

RVC语音克隆:10分钟数据练出专属AI歌手

RVC语音克隆:10分钟数据练出专属AI歌手

RVC语音克隆&#xff1a;10分钟数据练出专属AI歌手 【免费下载链接】Retrieval-based-Voice-Conversion-WebUI Easily train a good VC model with voice data < 10 mins! 项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI …

📅 2026/11/1 19:59:39
3 步把 Windows 11 改回 Windows 10 风格:ExplorerPatcher 安装教程

3 步把 Windows 11 改回 Windows 10 风格:ExplorerPatcher 安装教程

3 步把 Windows 11 改回 Windows 10 风格&#xff1a;ExplorerPatcher 安装教程 【免费下载链接】ExplorerPatcher This project aims to enhance the working environment on Windows 项目地址: https://gitcode.com/GitHub_Trending/ex/ExplorerPatcher 如果你刚把系统…

📅 2026/10/8 8:26:03
5步快速部署 Vue Vben Admin:免费开源 Vue3 中后台管理模板完整安装指南

5步快速部署 Vue Vben Admin:免费开源 Vue3 中后台管理模板完整安装指南

5步快速部署 Vue Vben Admin&#xff1a;免费开源 Vue3 中后台管理模板完整安装指南 【免费下载链接】vue-vben-admin A modern vue admin panel built with Vue3, Shadcn UI, Vite, TypeScript, and Monorepo. Its fast! 项目地址: https://gitcode.com/GitHub_Trending/vu/…

📅 2026/11/3 8:35:17
MORE NEWS

更多资讯

📰

2021电工证难嘛?实操考试心里没底怕挂科?这本上岗必备证怎么拿

2021电工证难嘛?实操考试心里没底怕挂科?这本上岗必备证怎么拿 你是不是正担心2021电工证难嘛?尤其是第一次报考的人,看到实操考试心里没底,怕挂科,怕浪费时间、金钱和精力?别急,这期内容就为你拆解从报名到拿证的全过程,帮你少走弯路,轻松…

📰

仪征电工证考试时间+保姆级教程:怕考不过白交培训费?别慌,这份攻略能帮你

仪征电工证考试时间+保姆级教程:怕考不过白交培训费?别慌,这份攻略能帮你 怕考不过白交培训费?仪征电工证考试时间一拖再拖,培训费都花了,结果还是不知道怎么准备?别慌,这篇保姆级教程帮你一步步规划,从报名到考试,全流程不踩坑!…

📰

廊坊哪里办电工证复审,郑州报考避坑指南,证书过期了不知道怎么复审延期?

廊坊哪里办电工证复审,郑州报考避坑指南,证书过期了不知道怎么复审延期? 你是不是正被“电工证过期了怎么办”这个问题困扰?现在市面上各种培训机构、代办点鱼龙混杂, 廊坊哪里办电工证复审…

📰

特种工多久可以免审 郑州报考避坑指南

特种工多久可以免审 郑州报考避坑指南 证书过期了不知道怎么复审延期,这种情况下你不是一个人。尤其是从事安阳房建工程的特种工朋友,如果没及时办理复审,可能面临停工、罚款甚至被清退的尴尬局面。别急,本文就围绕【特种工多久可以免审】这一关键词,结…

📰

岭东区电工证怎么考?外省证能不能转过来?怎么报名全攻略

岭东区电工证怎么考?外省证能不能转过来?怎么报名全攻略 之前考的证在外省能不能转过来?这几乎是所有打算在岭东区报考电工证的小伙伴最关心的问题。别急,今天我从一个干了10年特种作业考试培训的老手角度,把 岭东区电工证怎么考…

📰

安国去哪里考电工证好网上查询最快捷

安国去哪里考电工证好网上查询最快捷 你是不是正为找工作发愁?特种作业证成了很多岗位的硬门槛,尤其是电工证,很多企业招聘电工岗位 必须要有低压或高压电工证…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬