Kimi K3, and what we can still learn from the pelican benchmark
5 hours ago
- #Moonshot AI
- #Benchmarking
- #AI Models
- Moonshot AI发布了Kimi K3，这是一个拥有2.8万亿参数的模型，被描述为迄今为止能力最强的版本。
- K3目前可通过网站和API获取，并承诺在2026年7月27日之前开源权重。
- 自述基准测试显示，K3在性能上超越了Claude Opus 4.8 max和GPT-5.5 high，但落后于Claude Fable 5和GPT-5.6 Sol。
- Artificial Analysis报告称，K3在长视野知识工作方面的Elo评分为1547，每个任务的成本与GPT-5.6 Sol相似。
- 定价为每百万输入tokens 3美元，每百万输出tokens 15美元，使其成为中国AI实验室中最昂贵的模型。
- 作者使用了一个‘骑自行车的鹈鹕’SVG生成测试来探索模型特性。
- K3的测试显示其推理token使用量高（13,241个tokens），花费25美分，且可能存在隐藏的系统提示。
- 鹈鹕基准测试存在局限性，尤其是在代理式工具调用方面，不应被用于比较模型。
- 尽管存在局限性，该测试仍作为强制尝试模型的一种方式，并揭示了诸如成本和SVG生成能力等细节。