Neutrino-1 8B
2 days ago
- Neutrino-1模型采用专有的三元组权重格式，通过一个引擎在数据中心GPU、Apple Silicon和桌面CPU上提供三种模型。
- 旗舰型号Neutrino-1 8B拥有81.9亿个参数，存储在单个3.88 GB文件中，权重比fp16小八倍，可适配8 GB GPU或16 GB笔记本电脑。
- 架构：密集解码器仅变压器，采用分组查询注意力机制，每个token需要144 KiB的KV缓存。
- 权重分布：62.63%为零，正负分裂符号平衡，早期前馈层中70-72%为零。
- 性能：Apple M5（CPU）上24.9 tok/s，NVIDIA L4上30.7 tok/s，基础M5 MacBook上33.7 tok/s。
- 使用0.6B草稿模型（328 MB）进行推测性解码，在计数提示上实现完全草稿接受率，在事实提示上实现96.5%的接受率，从而提升吞吐量。
- 开源权重遵循Apache License 2.0，衍生自Qwen3-8B，通过pip一键安装，支持多种运行时。