Ferret-UI Lite: Lessons from Building Small On-Device GUI Agents
3 days ago
- #On-Device Models
- #Autonomous Interaction
- #GUI Agents
- Ferret-UI Lite是一款面向移动端、网页和桌面平台的轻量级端到端图形用户界面代理
- 采用专为小型模型优化的技术开发，包括多样化的GUI数据筛选、思维链推理、视觉工具使用和强化学习
- 在GUI基础任务中表现优异，成绩分别为：ScreenSpot-V2（91.6%）、ScreenSpot-Pro（53.3%）和OSWorld-G（61.2%）
- 在GUI导航任务中，成功率分别为：AndroidWorld（28.0%）和OSWorld（19.8%）
- 分享了开发紧凑型设备端GUI代理的方法与实践经验