What happens between entering the prompt and seeing the first word appear
a day ago
- #decoding strategies
- #KV cache
- #LLM inference
- 在推理过程中，大型语言模型通过自回归方式生成回复，通过顺序前向传递逐个令牌地构建输出。
- 推理分为预填充阶段（并行处理提示以填充键值缓存）和解码阶段（顺序生成新令牌）。
- 键值缓存存储计算得到的键和值向量以避免重新计算，从而节省大量工作，但占用大量内存，尤其是在长序列情况下。
- 解码策略如贪婪解码、top-k采样、top-p（核心）采样和温度缩放可控制令牌选择，以平衡可预测性和创造性。
- 键值缓存的内存使用量取决于模型架构、序列长度和批次大小，而分组查询注意力等技术可减小缓存大小。
- 束搜索探索多个令牌序列以获取最优输出，同时重复惩罚机制可减少较长生成文本中的重复内容。
- 整个流程包括标记化、预填充、带缓存的解码以及将令牌ID转换回文本的去标记化。