Kolibri Has Landed: A Sovereign Open-Weight Model
6 hours ago
- Aleph Alpha 在德国统一日发布了 Kolibri，这是一个主权开放的轻量级英德混合专家模型，总参数为 780 亿，活跃参数为 30 亿。
- Kolibri 支持长达 100 万 token 的上下文长度，并在 Apache 2.0 许可下提供完整权重，可从 Hugging Face 获取。
- 通过自动化的模型工厂流水线构建，Kolibri 在短短三个月内从 Kolibri Origin（300 亿参数，6.5 万上下文）发展到 780 亿参数、100 万上下文和 20 万亿训练 token。
- 该模型专为德语、推理、数学、智能体行为以及公共管理、航空航天和汽车等监管领域而优化。
- 主权是核心原则：完全的供应链透明度、符合欧盟 AI 法案/GDPR、数据或基础设施不受外国控制。
- Kolibri 经过训练，当答案不在上下文中时，使用 Merlin-Arthur 协议选择放弃回答，大幅减少幻觉（放弃率为 44%，而 Origin 为 15%）。
- 仅凭 30 亿活跃参数，Kolibri 在数学、编程、基础推理和长上下文基准测试中匹配或超越了更大模型（最高达其规模的 4 倍）。
- 德语数据策略使用了来自 Common Crawl 的 1.3 万亿精选德语 token、通过 LLM 改写获得的 1 万亿 token，以及最少的翻译，保留了真实的德语文化语境。
- 引入了 UniBPE，这是一种结合 BPE 和 Unigram 的双语英德分词器，提高了德语压缩和推理效率。
- 后训练包括 2680 亿 SFT token 和基于 120 万以上任务的强化学习，支持可控的推理努力程度（无/低/中/高）。
- Kolibri 在 Honeypot 智能体 RAG 基准测试中优于其他开放式权重模型，并在 5 个客户垂直领域中的 4 个中领先。