German AI consortium releases Soofi S, an open 30B model
7 hours ago
- #German Language Model
- #Open-Source AI
- #Mixture-of-Experts
- 德国研究联盟发布了完全在德国电信AI云上训练的开源300亿参数语言模型Soofi S。
- Soofi S采用资源高效的混合专家（MoE）混合架构，每个令牌仅激活316亿参数中的32亿，以确保长文本输入下的恒定处理速度。
- 该模型在德语、英语和编程基准测试中表现优于其他完全开源模型（如Olmo 3 32B和Apertus 70B），其训练数据刻意侧重德语内容。
- 批评者认为Soofi S依据Chinchilla缩放法则存在‘过度训练’，但技术领导层反驳称，由于MoE架构的数据重复利用优势，该法则并不适用。
- Soofi S在长上下文生成中展现出强大吞吐量，在4000至256000个令牌范围内保持近乎稳定的性能，并在德语知识测试中领先，但在数学和事实检索方面存在一些弱点。
- 该模型基于使用可再生能源的主权基础设施训练，并公开了权重、代码和数据清单，但因包含少量商业许可数据集，未能完全满足严格的欧洲开放数据定义。