Apple researchers develop on-device AI agent that interacts with apps
6 days ago
- #AI
- #Machine Learning
- #User Interface
- Ferret-UI Lite 是一款拥有30亿参数的轻量级模型，其性能可媲美甚至超越体积大24倍的大型模型。
- 它属于Ferret系列产品线，该系列包括Ferret-UI和Ferret-UI 2，专为增强移动端界面理解能力而设计。
- 该模型融合真实与合成训练数据，采用动态裁剪缩放技术和监督微调方法。
- 通过针对特定GUI元素进行裁剪和重复预测，有效弥补了模型体积小的局限。
- 其训练数据由多智能体系统自动生成，这些系统能与实时图形界面平台进行交互。
- 模型的训练与评估覆盖Android系统、网页及桌面GUI环境。
- 在短流程任务中表现优异，但处理复杂多步骤交互时仍存在不足。
- 支持本地化私有化GUI交互，避免云端数据处理带来的隐私风险。