Accelerating Gemini Nano Models on Pixel with Frozen Multi-Token Prediction
11 days ago
- #on-device AI
- #inference optimization
- #mobile efficiency
- Google研究人员提出一种方法，可将多令牌预测技术融入冻结的生产模型（如Gemini Nano v3），以加速设备端推理，无需单独的草稿模型。
- 该方法通过轻量级多令牌预测头利用主模型内部状态，解决了移动设备的能源和内存限制，消除了内存冗余并降低了延迟。
- 在Pixel 9和10设备上集成多令牌预测后，AI通知摘要和校对等功能实现了显著加速（超过50%）和节能，同时保持输出兼容性。
- 未来工作将探索并行解码和分支技术，以在严格的移动约束下更高效地处理语言歧义。