Bonsai 27B (1-bit LLM): The First 27B-Class Model to Run on a Phone
3 hours ago
- #AI Model Compression
- #On-Device AI
- #Multimodal AI
- Bonsai 27B是Bonsai系列的新型多模态模型，基于Qwen3.6 27B，也是首个能够在手机上运行的该能力级别模型。
- 它有两种变体：Ternary Bonsai 27B（5.9 GB）适用于笔记本电脑的高质量处理，以及1-bit Bonsai 27B（3.9 GB）适用于手机的低内存占用，两者均采用端到端的低比特权重，无高精度逃脱机制。
- 该模型在各项基准测试中分别保留了全精度基准性能的95%（Ternary变体）和90%（1-bit变体），在数学、编码和工具调用等智能体工作负载方面表现出色。
- Bonsai 27B支持智能体AI的本地执行，通过将数据保留在设备上以降低成本和增强隐私，并支持与云端模型的混合部署。
- 它实现了高速处理（在RTX 5090上最高达163 tok/s），适配手机内存限制，具备262K令牌上下文、多模态视觉和推测解码功能。
- 此次发布代表了智能密度范式的转变，推动了Apache 2.0许可证下日常设备上的AI部署，并计划推出更大规模的模型。