Inkling-Small
3 hours ago
- Inkling-Small 是一个高效的开源模型，在体积仅为 Inkling 四分之一的情况下实现了与其相当的性能。
- 它是一款混合专家（MoE）Transformer 模型，总参数量达 276B（活跃参数 12B），基于 NVIDIA GB300 NVL72 系统训练。
- 其特性包括对音频和图像的原生推理、可调节的思考努力程度、100万 token 的上下文窗口，以及优秀的基准测试表现。
- Inkling-Small 在推理和智能体任务上超越 Inkling，同时效率更高，并在同量级模型中达到或超越其他模型。
- 完整权重已开源，该模型可在 Tinker 上进行微调，并通过 Tinker Playground 进行对话。
- 训练方面的改进包括更优的预训练数据混合、基于在线策略蒸馏的后训练，以及扩展的智能体代码强化学习。
- 多模态能力是原生的，采用无编码器架构处理音频和图像，在视觉和音频基准测试中表现强劲。
- 安全性和认识论处理得当，在校准、指令遵循和抗审查方面与 Inkling 表现相当。