iPhone-use — 让 Codex 通过 USB 操作真实 iPhone,实时屏幕回显

iPhone-use 是一个让 Codex 通过 USB 操作真实 iPhone 的开源工具。这个 软件工具 走 MIT 协议,用 WebDriverAgent 与手机通信,包含本地 MCP 服务、安装引导技能和实时屏幕 widget。作为一个 开源软件,你用自然语言描述任务,Codex 就能打开 App、读取页面、点击、滚动、输入文字、整理列表,侧边栏同时展示手机屏幕。

场景痛点

想让 AI 帮你操作手机,iOS 自动化要么用模拟器录脚本,要么用云测平台,没有一个能直接通过 USB 控制你手里这台真机的。想让 AI 读屏幕、点按钮、输入中文、翻列表,还想在旁边实时看到手机在动。做AI应用和Skill工具的人想要的,不是一个只能跑模拟器的自动化框架,是一个让 Codex 直接接真机、用自然语言下指令的 iPhone 操作工具。

主要功能特点

USB 真机控制

通过 USB 连接真实 iPhone,不用越狱,不用单独跑 Appium Server。WDA 固定使用已验证的 16.14.0 提交,Python MCP 服务通过本机 loopback 转发,运行数据和签名构建都留在本机。这种开发者工具级别的真机通道,比模拟器真实。

自然语言操作加 17 个工具

用自然语言说”打开备忘录新建草稿输入中文”,Codex 就能做。17 个工具覆盖环境诊断、控件树查询、截图、启动 App、点击滑动、Unicode 输入、批量动作、滚动查找、列表采集。还有 2 个屏幕 widget 工具。

实时屏幕回显

侧边栏展示手机屏幕,带 iPhone 外壳、设备状态、操作光效和清楚可见的点击拖动提示。屏幕流不落盘,底部有刷新、主屏幕和截图按钮。这种macOS级别的桌面集成,比云测平台实时。

截图回退加失败恢复

控件定位失败时返回截图,由模型查看并尝试坐标点击。图像像素乘以换算系数转成 iPhone 点坐标再交给点击工具。多进程共享操作锁,动作超时或断线先读实际状态,不盲目重放。

长文本输入加列表采集

中文和长文本一次提供完整 Unicode,长文本分段输入支持续传。列表搜索有界滚动、重叠读取与去重,返回覆盖边界。连续任务把已知步骤组成 batch 减少模型往返。这种iPhone级别的自动化,比手动点快。

简易使用教程

  • 准备好 macOS、完整 Xcode、Apple 开发账号和 USB 连接的 iPhone。
  • clone 仓库后跑 sh scripts/install.sh 安装插件和 MCP 服务。
  • 在 Codex 里加载安装提示词,让它引导你完成 WDA 安装签名启动。
  • 首次需要你自己完成 Apple 登录、设备信任、开发者模式和解锁。
  • WDA 就绪后在新聊天启用 iPhone Use。
  • 用自然语言下指令,比如”打开备忘录新建草稿输入中文”。
  • 侧边栏实时看手机屏幕在动,底部有刷新和截图按钮。
  • 密码、验证码、Face ID 这些认证自己完成,可以暂停预览。
  • 日常用下来让 AI 操作手机翻列表读内容都在一个聊天里,想找类似工具推荐里的 AI工具可以翻酷软趣站。

官方网站

GitHub 访问

下载地址

https://pan.quark.cn/s/276b9e434ab4

https://www.guangyapan.com/s/1957002829231181881_aeWhI5wocgzRgCO6 (光鸭新用户注册福利:永久免费空间:所有新用户注册即可解锁 2TB 永久免费存储空间,无需额外任务或付费)

相关推荐

Avatar photo

JameCling

我是 格律诗的软件世界 的作者,一名专注于软件工具、AI 技术和数字效率领域的独立研究者。
多年来,我持续关注互联网工具的发展趋势,体验不同平台的软件产品,并研究它们如何帮助用户提升效率。
我的工作不仅是整理软件信息,而是通过实际测试、功能分析和使用场景研究,帮助用户判断一个工具是否真正值得使用。
格律诗的软件世界 的每一篇文章都希望提供真实、有价值的信息,包括工具特点、使用方法、优缺点分析以及适合的人群。
我相信,好的工具能够改变工作方式,而准确的信息能够帮助用户做出更好的选择。