Serving a 1T open model at 511 tok.s single-stream, lossless, on four B200s
6 days ago
- #Large Language Models
- #AI Serving
- #Speculative Decoding
- 在四块B200 GPU上以无损推测解码服务Kimi-K2.6——一个万亿参数模型——实现了每秒511.6个token的记录。
- 该记录最初设定为每秒505.9个token，并通过使用公开可用组件进行盲测重新运行提升至更高数值，在公共排行榜上超越其他提供商高达13.4%。
- 在万亿参数MoE模型中测得每token的'验证成本'为0.397毫秒，表明验证开销随草稿长度增加而增长，这是由于专家路由机制导致的。
- 开发了Fovea——一种经过训练的草稿头模块，相比公共头模块将性能提升5.8%，证明了领域特定优化的潜力。
- 发现并修复了一个训练缺陷：蒸馏教师模型因错位一个Transformer层而产生偏差，突显了在草稿训练中正确捕获隐藏状态的重要性。