Inkling: Our Open-Weights Model
11 hours ago
- #AI model release
- #Multimodal AI
- #Open weights
- 该公司发布了名为Inkling的新AI模型，这是一款混合专家架构的Transformer模型，拥有9750亿总参数和410亿活跃参数。
- Inkling支持高达100万标记的上下文窗口，基于45万亿标记的多模态数据进行预训练，并可通过Tinker平台进行微调。
- Inkling的核心特性包括多模态推理（文本、图像、音频）、可调控的思维强度以平衡性能与效率，以及在推理、代理编码和安全基准测试中的卓越表现。
- 与Inkling同时发布的还有Inkling-Small预览版（2760亿总参数，120亿活跃参数），该版本为特定工作负载提供类似能力，同时具有更低的成本和延迟。
- 该模型的开发过程涉及大规模强化学习训练（超过3000万次推演），这不仅提升了推理能力，还促成了更简洁的推理风格。
- Inkling被设计为广泛适用的定制化基础模型，特别强调校准性、指令遵循能力和抗审查机制（认知特性）。
- 安全评估显示Inkling具备强大的保障措施，在FORTRESS和StrongREJECT等基准测试中表现优异。
- Inkling可通过TogetherAI、Hugging Face等多个平台和合作伙伴获取，其完整权重已公开发布以支持定制化需求。