Width vs. Depth: Speculating on the Margin
10 days ago
- #inference optimization
- #speculative decoding
- #MoE routing
- 在批次大小为1、使用2个位置草稿的情况下进行推测解码，即使有10%的标记拒绝率，其吞吐量仍可能高于两个序列的批次处理。
- MoE路由在推测运行中导致专家协同激活，与随机批次处理相比减少了内存移动，使得深度比宽度更经济。
- 推测效率因序列而异；置信度门控根据起草者的置信度不均匀地分配草稿深度，从而提高吞吐量，尤其是在小批次大小时。
- 模拟显示，置信度门控的推测优于固定深度策略，但需要引擎支持不规则的推测（即每个序列使用不同的深度）。
- 随着模型触及内存墙，推测解码仍然是推理优化的关键，相关技术正在快速演进。