18 hours ago
- Cue 是一款语音激活的 AI 助手，通过在本地运行 Gemma 4 E4B 进行文本润色，将延迟降低了 44%，并将听写使用率提升了 30%。
- 借助 Gemma 4 的本地推理功能，润色步骤的边际成本被消除，从而实现了无限免费听写，无需设置付费墙。
- Gemma 4 在设备上的性能（中位数 488 毫秒）保持在 500 毫秒阈值以下，确保了无延迟的用户体验，取代了较慢的云端流水线。
- 润色流水线使用紧凑的约 400 词系统提示，可校正格式、填充词、同音字，并适应上下文（例如应用类型）。
- Cue 颠覆了其原始架构：基准测试显示，Gemma 4 本地模型在避免过度编辑的同时能保持质量，因此现在将其设为默认模式，而云端作为备选方案。
- 该团队正将 Gemma 的角色扩展到记忆功能（学习用户风格）以及通过函数调用执行本地代理任务，并计划开源其评估方法。