Introducing Gemma 3n
a year ago
- #Gemma 3n
- #AI
- #on-device AI
- Gemma 3n现已全面发布，基于Gemma生态系统的成功，下载量已超过1.6亿次。
- Gemma 3n采用移动优先架构，支持Hugging Face Transformers、llama.cpp和Google AI Edge等工具。
- 该模型引入MatFormer架构，通过嵌套变压器组件实现弹性推理。
- 开发者可使用预提取模型（E4B或E2B），或通过Mix-n-Match创建自定义尺寸模型。
- 分层嵌入（PLE）技术在不增加高速内存占用的前提下提升模型质量。
- KV缓存共享技术将长输入处理速度提升2倍，显著优化预填充性能。
- Gemma 3n集成基于通用语音模型（USM）的先进音频编码器，实现细粒度音频表征。
- 全新视觉编码器MobileNet-V5-300M为边缘设备多模态任务提供顶尖性能。
- Gemma 3n拥有由AMD、Hugging Face和NVIDIA等厂商构建的广泛工具与平台生态支持。
- Gemma 3n影响力挑战赛邀请开发者构建创新产品，奖金池达15万美元。