Show HN: I built an AI Agent that uses the iPhone
a year ago
- #AI
- #iOS
- #Automation
- iPhone Agent使用OpenAI模型在多款应用中执行任务，操作方式类似真实用户
- 该工具在OpenAI黑客马拉松期间开发，可实现自拍、发送消息、打开应用等指令
- 功能包括语音/文本输入、无障碍操作树交互、以及支持唤醒词的常驻模式
- 基于GPT-4.1驱动，通过Xcode的UI测试框架实现点击、滑动、滚动、输入和启动应用
- 当前面临键盘输入优化、动画处理、任务提前终止等技术挑战
- 属于实验性软件，因可能存在错误及向OpenAI传输数据，建议在隔离环境中运行