You can't solve computer use by ignoring the interface
6 hours ago
- 当前的AI智能体在现实计算机任务中仅能达到较低的完成率（例如，OSWorld-V2上为20.6%，Agents' Last Exam上为26.2%），远低于LLM对话性能所设定的用户期望。
- 像OSWorld和WebArena这样的基准测试给出了夸大的结果，因为它们使用了静态、干净的环境和简单的动作空间，与混乱的现实世界界面不同。
- 核心缺陷在于智能体经常完全绕过用户界面（例如，使用API调用而非点击），导致效率低下、产生副作用，并且在需要直接GUI交互的任务上表现不可靠。
- 当前方法依赖于截图-工具调用循环，对所有任务使用相同的大模型，由于缺乏时间信息且反应时间慢，使得简单的UI操作变得困难。
- 提出的解决方案：通过引入用于运动控制的系统1操纵器，将规划与执行分离，采用视觉优先的方法以实现人类级的反应时间和更高的可靠性。