What happens between entering the prompt and seeing the first word appear21 days agohttps://shbhmrzd.github.io/ai/ml-foundations/llm-training/2026/07/11/using-the-t...在推理过程中，大型语言模型通过自回归方式生成回复，通过顺序前向传递逐个令牌地构建输出。推理分为预填充阶段（并行处理提示以填充键值缓存）和解码阶段（顺序生成新令牌）。键值缓存存储计算得到的键和值向量以避免重新计算，从而节省大量工作，但占用大量内存，尤其是在长序列情况下。解码策略如贪婪解码、top-k采样、top-p（核心）采样和温度缩放可控制令牌选择，以平衡可预测性和创造性。更多...