Kimi K3 by Moonshot now available on Modal
a day ago
- Moonshot 发布了 Kimi K3，一个拥有 2.8 万亿参数的多模态模型，支持 1M token 的上下文窗口和原生视觉能力，现已在 Modal 上可用。
- Modal 在发布日以每秒 460 个 token 的速度运行 K3，Moonshot 和 vLLM 提供当日支持，包括基于 token 的定价和专用终端。
- K3 是公开智能指数中最强的开放模型，整体排名第四，采用混合专家架构，拥有 896 个专家，每个 token 激活 16 个专家。
- Kimi Delta Attention 和 Attention Residuals 等创新使扩展效率比 K2 提升了 2.5 倍，而量化感知训练和重新平衡的专家并行性使其支持广泛的硬件。
- Modal 提供了一个针对 K3 调优的定制 DFlash 推测器，在代理工作负载上实现了 360% 更快的交互速度（从 100 到 460 token/秒）和 88% 更高的吞吐量（每个 GPU 从 80 万到 150 万 TPM）。
- K3 可通过 Modal 的共享 API（基于 token 的定价）或作为专用自动终端使用，每月提供 30 美元的免费计算额度。