Introduction to AI Engineeringa day agoAI EngineeringLLMContext Windowhttps://heymeraki.substack.com/p/aie_10-introduction-to-ai-engineeringCopy Link大型语言模型（LLMs）是预测机器，它们从海量数据集中学习模式，而非确定性规则。LLMs无状态；它们缺乏固有记忆，依靠传递完整的对话历史作为上下文来模拟回忆。上下文窗口限制了LLM每次调用可处理的文本量，高效利用这一限制对AI工程师至关重要。LLM中的上下文包括系统提示、对话历史、文档和用户消息，所有这些都必须适配在上下文窗口内。LLMs基于训练而非事实知识预测后续内容，其置信度可能具有误导性。