Accelerating Gemini Nano Models on Pixel with Frozen Multi-Token Prediction20 days agohttps://research.google/blog/accelerating-gemini-nano-models-on-pixel-with-froze...Google研究人员提出一种方法，可将多令牌预测技术融入冻结的生产模型（如Gemini Nano v3），以加速设备端推理，无需单独的草稿模型。该方法通过轻量级多令牌预测头利用主模型内部状态，解决了移动设备的能源和内存限制，消除了内存冗余并降低了延迟。在Pixel 9和10设备上集成多令牌预测后，AI通知摘要和校对等功能实现了显著加速（超过50%）和节能，同时保持输出兼容性。未来工作将探索并行解码和分支技术，以在严格的移动约束下更高效地处理语言歧义。
Bonsai 27B (1-bit LLM): The First 27B-Class Model to Run on a Phone7 days agohttps://prismml.com/news/bonsai-27bBonsai 27B是Bonsai系列的新型多模态模型，基于Qwen3.6 27B，也是首个能够在手机上运行的该能力级别模型。它有两种变体：Ternary Bonsai 27B（5.9 GB）适用于笔记本电脑的高质量处理，以及1-bit Bonsai 27B（3.9 GB）适用于手机的低内存占用，两者均采用端到端的低比特权重，无高精度逃脱机制。该模型在各项基准测试中分别保留了全精度基准性能的95%（Ternary变体）和90%（1-bit变体），在数学、编码和工具调用等智能体工作负载方面表现出色。Bonsai 27B支持智能体AI的本地执行，通过将数据保留在设备上以降低成本和增强隐私，并支持与云端模型的混合部署。它实现了高速处理（在RTX 5090上最高达163 tok/s），适配手机内存限制，具备262K令牌上下文、多模态视觉和推测解码功能。此次发布代表了智能密度范式的转变，推动了Apache 2.0许可证下日常设备上的AI部署，并计划推出更大规模的模型。
Model 4: Our best model yet for local dictation and cleanup on Maca day agohttps://www.epilude.com/news/introducing-model-4Epilude Model 4是本地模式的第四代设备端模型，自推出以来实现了最大的质量跃升，同时保持了1.5 GB的下载体积与速度，且所有数据均不会离开用户的Mac设备。本地模式采用双模型结构：语音模型负责将语音转为文本，清理模型则优化转录内容——包括删除填充词、修正标点、处理自我修正及匹配语调；Model 4是基于Qwen家族新微调的清理模型，专注于听写优化，未更改语音模型。评估采用零容忍标准：对改变语义或泄露指令的关键错误进行严格检测，基于90个听写场景的内部基准测试；Model 4比Model 3多通过9个场景，关键语义错误减少56%，在中途自我修正、日期、混合语言对话及随意语气处理方面表现突出。构建Model 4的核心经验表明：标注质量比数据量更重要——修正错误标注的训练样本显著提升了自我修正能力，且多轮模型权重平均方案通过消除罕见故障模式，效果优于单一模型。Model 4存在局限：对冗长散漫的段落及口语化提问处理仍有困难，云端模式在整体性能上保持领先；需Apple Silicon芯片与16 GB内存以实现完整AI清理功能，但在配置较低的设备上可离线运行基础格式化，所有数据本地处理的设计保障了隐私安全且无需额外成本。
DepthART: Scaling Foundation Monocular Depth to Tiny Models12 hours agohttps://xuefeng-cvr.github.io/DepthART/最近的几何基础模型改进了单目深度估计，但其对小型模型的益处有限。DepthART 是一个紧凑型模型，专为跨多样场景的稳健设备端深度估计而设计。它采用抗偏差数据采样和相机条件微调，以应对数据集特定过拟合和不稳定的度量适应。这些方法在容量受限模型中改善了跨数据集泛化能力和度量深度预测。DepthART 已被 ACM Multimedia 2026 接收。