Apple researchers develop on-device AI agent that interacts with apps
6 days ago
- #AI
- #Machine Learning
- #User Interface
- Ferret-UI Lite 是一款拥有30亿参数的轻量级模型,其性能可媲美甚至超越体积大24倍的大型模型。
- 它属于Ferret系列产品线,该系列包括Ferret-UI和Ferret-UI 2,专为增强移动端界面理解能力而设计。
- 该模型融合真实与合成训练数据,采用动态裁剪缩放技术和监督微调方法。
- 通过针对特定GUI元素进行裁剪和重复预测,有效弥补了模型体积小的局限。
- 其训练数据由多智能体系统自动生成,这些系统能与实时图形界面平台进行交互。
- 模型的训练与评估覆盖Android系统、网页及桌面GUI环境。
- 在短流程任务中表现优异,但处理复杂多步骤交互时仍存在不足。
- 支持本地化私有化GUI交互,避免云端数据处理带来的隐私风险。