On-device small language models with multimodality, RAG, and Function Calling
a year ago
- #AI
- #On-Device
- #Gemma
- Google AI Edge将支持范围扩展至十余种模型，包括托管在新版LiteRT Hugging Face社区的Gemma 3和Gemma 3n
- Gemma 3n成为首个支持文本/图像/视频/音频多模态输入的端侧小型语言模型
- 全新检索增强生成(RAG)和函数调用库显著提升端侧AI能力
- 所有模型均针对移动端和网页端优化，仅需几行代码即可实现端侧部署
- 新型量化工具提供更优质的int4训练后量化方案，模型体积缩小2.5-4倍
- Gemma 3 1B在移动GPU上每秒处理2,585个token，单页内容解析耗时不足1秒
- Gemma 3n支持企业级多模态输入场景，现已在Hugging Face平台开放
- 端侧RAG技术无需微调即可融合应用特定数据
- AI Edge函数调用库支持交互式语言模型调用预定义功能或API
- Python工具模拟库助力开发针对特定功能的定制语言模型
- Google AI Edge将持续支持新模型与新模态，相关更新将通过LiteRT Hugging Face社区发布