尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
iphone-use:让 AI 操作你的真 iPhone(开源)
很多 App 没有 API银行、支付、健康、聊天。AI 写代码再厉害也帮你点不了它们。。iPhone-use 把一台真 iPhone 交给 AI agent屏幕读成文字点、滑、输入操作没生效时直接告诉它。。开源MIT 协议。GitHubhttps://github.com/leeguooooo/iphone-use2 分钟演示视频https://github.com/user-attachments/assets/a9947152-6655-4509-ac1e-49953a3cea70怎么连起来的Mac 上跑一个守护进程通过 USB 在 iPhone 上运行 WebDriverAgentXcode 的 UI 测试框架。对外提供三样东西给 agent 和脚本的 HTTP 接口/agent/*21 个工具的 MCP serverClaude Code、Claude Desktop 直接接给人用的网页和 iOS App远程看实时画面直接点、直接输入。它不占用 Mac 自身的屏幕、光标和窗口焦点。Agent 的一步读、点、看结果curl-s-H$AUTH$HOST/agent/elements# {snapshot:…,elements:[… {kind:Button,label:通用} …]}curl-s-H$AUTH-HX-Phone-Control: 1-XPOST$HOST/agent/input?returndelta\-d{type:tap,element:7,snapshot:…}# {ok:true,settle:{reason:stable,captures:1},delta:{…}}每次操作都会明确说明是已执行、未发出还是结果不确定以及能否安全重试。几种容易让 AI「以为成功」的情况会直接拦下来要点的元素被固定标题栏、键盘盖住不发送返回element_occluded元素在树里但没画出来比如 Chrome 压在网页后面的标签页网格返回element_not_visibleset_value写完读回核对网页输入框没认返回value_not_applied。禁止截屏的 App 也能看PayPay 这类支付 App 开了 iOS 的防截屏截图、录屏、镜像拿到的都是一片白但辅助功能树是完整的。iPhone-use 发现截图是纯色、控件树里却有内容时就按控件树把按钮、文字、输入框画成线框图并在响应头标上X-Capture-Redacted: 1。远程控制的网页和 App 也会把白屏换成这张图。快一点点抠出来的每个请求都带有耗时拆分timing字段、Server-Timing头先测量再优化按编号点击复用刚读到的界面树只核对目标元素的实时位置不再整棵界面树重读等画面稳定读取界面树前后各截一张图两帧一致就不再读第二遍屏幕尺寸和系统弹窗检查结果都有缓存。在 iPhone 17 Pro Max 上实测「点一下并等画面稳定」从 8.5 秒降到 4.2 秒。冷启动从 75 秒降到 13 秒手机锁着的话4 秒内提示解锁解锁后约 14 秒可用。也省 token屏幕读成文字不用每一步都看截图?since只返回变化的部分点完直接带回界面变化省掉一次读取最多 24 步打包成一次调用。做过一次就沉淀成脚本重复的事情不用每次都让模型重新摸索。在网页里操作一遍录成 flow审阅后进官方 flow 源之后一条命令重放不经过模型iphone-use-mcp flow update iphone-use-mcp flow run health/export-all-zh-cn# 导出健康数据App 改版跑不通时结果里会给出诊断卡在哪一步、为什么flow report一条命令反馈回源里。安装需要 macOS 15、完整 Xcode免费 Personal Team 也行、开启了开发者模式并信任这台 Mac 的 iPhone。curl-fsSLhttps://raw.githubusercontent.com/leeguooooo/iphone-use/main/install.sh|sh~/.iphone-use/setup-wda.sh然后打开http://Mac 的 IP:44321/phone。问题和建议欢迎提到 GitHub issueshttps://github.com/leeguooooo/iphone-use/issues
RELATED

相关推荐

Codex OAuth+PKCE二次登录全解:Gpt-Agreement-Payment如何拿到refresh_token

Codex OAuth+PKCE二次登录全解:Gpt-Agreement-Payment如何拿到refresh_token

Codex OAuthPKCE二次登录全解:Gpt-Agreement-Payment如何拿到refresh_token 【免费下载链接】Gpt-Agreement-Payment ChatGPT Plus/Team/Pro 订阅协议端到端重放工具集 hCaptcha 视觉求解器 反欺诈机制实证研究 / End-to-end protocol replay toolkit for ChatGPT…

📅 2026/10/7 8:07:19
Antra下载完整性防线:时长探测、FLAC解码探针与截断检测如何杜绝坏文件入库

Antra下载完整性防线:时长探测、FLAC解码探针与截断检测如何杜绝坏文件入库

Antra下载完整性防线:时长探测、FLAC解码探针与截断检测如何杜绝坏文件入库 【免费下载链接】Antra A desktop music library builder that turns Spotify, Youtube Music Apple Music, Amazon Music, Tidal, Qobuz, and Deezer links into fully tagged local libr…

📅 2026/10/7 8:07:19
Runway接入DaVinci:AI改镜头如何保留原片与审批链

Runway接入DaVinci:AI改镜头如何保留原片与审批链

Runway 9 月 23 日宣布插件进入 DaVinci Resolve Studio:编辑者能在时间线附近生成或重绘镜头,并把结果导回媒体池。真正要核对的是:新片段对应哪段原片、时长是否相容、最终批准的是哪一个导出文件。把“已回到时间线”当成“可交付”&#…

📅 2026/10/7 8:07:19
MORE NEWS

更多资讯

📰

MLA 在极长上下文下的显存带宽突围:128K 场景下的算子访存深度解析

MLA 在极长上下文下的显存带宽突围:128K 场景下的算子访存深度解析在当前大模型应用全面迈向超长上下文(Long-Context)的浪潮中,代码库全量检索、法律文书解析以及长文档推理等业务需求已将提示词长度推升至 128K 甚至 256K Token…

📰

ponytail插件开发实战:从零搭建聚合层工作流与性能调优

1. 从“ponytail”这个标题说起:它到底是什么第一次看到“ponytail”这个词,很多人脑子里蹦出来的画面是扎起来的马尾辫。但在技术圈和效率工具圈里,ponytail 早就不是发型的意思了。它是一类**轻量级、可插拔、强调“收束”与“聚合”**的工…

📰

基于语义缓存(Semantic Cache)的大模型降本:利用 Milvus 过滤 20% 高频重复请求

基于语义缓存(Semantic Cache)的大模型降本:利用 Milvus 过滤 20% 高频重复请求在传统 Web 系统的高并发优化中,几乎所有的系统架构师都会第一反应在数据库前架设一层 Redis 缓存:通过对请求 URL 或参数计算 MD5 作为 …

📰

半桥驱动芯片原理与实战:自举升压、死区时间与MOS管可靠驱动

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📰

ESP32云端开发新姿势:ESP-Mosaico与烧录工具v3.6.5实操指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📰

故障诊断 Agent 的上下文管理:如何在有限 Context 窗口内高效组装指标、日志与事件

故障诊断 Agent 的上下文管理:如何在有限 Context 窗口内高效组装指标、日志与事件在将大语言模型引入生产环境可观测性链路构建自动化故障诊断 Agent 时,绝大多数团队遭遇的第一道硬伤并不是模型的推理能力不足,而是上下文窗口(C…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬