Kimi k2 largest open source SOTA model?
10 months ago
- #AI
- #Language Model
- #Mixture-of-Experts
- Kimi K2 是一款采用专家混合架构（MoE）的尖端语言模型，激活参数量达320亿，总参数量高达1万亿。
- 该模型使用Muon优化器训练，专为智能体能力优化，在尖端知识、推理和代码任务方面表现卓越。
- 提供两种版本：Kimi-K2-Base适用于微调和定制解决方案，Kimi-K2-Instruct则面向通用对话和智能体体验场景。
- Kimi K2 在多项基准测试中表现优异，包括代码任务（LiveCodeBench、OJBench）、工具使用任务（Tau2、AceBench）以及数学与STEM任务（AIME、MATH-500）。
- 支持工具调用功能，可自主调用天气查询等工具完成任务。
- 模型可通过Moonshot AI平台API获取，兼容OpenAI/Anthropic API接口。
- 推荐使用vLLM、SGLang、KTransformers和TensorRT-LLM等推理引擎。
- 该模型采用修改版MIT许可协议发布，权重文件已在Hugging Face平台开源。