Inference Optimization for MiMo v2.5: Pushing Hybrid SWA Efficiency to the Limit
6 days ago
- #KVCache Management
- #Hybrid SWA
- #Inference Optimization
- 混合滑动窗口注意力（Hybrid SWA）将KVCache的存储和计算降低到全注意力的约1/7，提高了长上下文任务的效率。
- 稀疏MoE激活在保持模型容量的同时减少了每个令牌的计算量，多模态编码器支持跨视觉、音频和视频的跨模态理解。
- 优化包括为全注意力和SWA层设置双KVCache池、支持SWA感知的前缀缓存树以实现正确复用，以及分层缓存系统（GCache）以实现高性能和低成本。
- 调度策略如KVCache亲和性和高命中率请求的优先级，提升了吞吐量并降低了延迟，特别是在代理场景中。
- 内存优化、预填充阶段的MTP支持以及EPD解耦增强提升了解码性能和编码器吞吐量。
- 该实现实现了较高的KVCache命中率（平均93-95%），减小了专家并行规模，并通过长度分桶解决了负载不均衡问题。