Bonsai 2 27B: Near-Lossless Compression in a 9x Smaller Footprint
4 hours ago
- 三元盆景 2 27B 是一个使用三元权重的压缩 27B 多模态模型，每个权重有效位数为 1.76 位，占用 5.9GB 空间。
- 它保留了 Qwen3.8 27B 全精度性能的 98.2%，同时体积小了 9 倍以上。
- 它支持 262K 令牌的上下文窗口、多模态输入，并采用 Apache 2.0 许可证。
- 在 RTX 5090 上吞吐量达到 143 令牌/秒，在 M5 Max 上达到 46.8 令牌/秒，能效比全精度 8B 模型高出 40%。
- 它提升了推理、编程、视觉和智能体能力，支持本地部署用于编程智能体、计算机使用工作流和私有分析。