Effective context engineering for AI agents
8 months ago
- #AI
- #LLMs
- #ContextEngineering
- 上下文工程正成为人工智能领域的新焦点，从提示词工程转向优化上下文配置以获得理想的模型行为。
- 上下文指大语言模型采样时包含的token序列，上下文工程就是针对模型限制优化这些token的配置过程。
- 提示词工程专注于撰写有效指令，而上下文工程需要管理系统指令、工具链和对话历史等完整上下文状态。
- 大语言模型存在'上下文衰减'现象——随着上下文窗口扩展，模型的信息提取能力会下降，这要求对token进行精细管理。
- 高效的上下文工程在于找到最小化的高价值token组合，在系统提示的精确性与灵活性之间取得平衡。
- 智能体工具应当保持高效、模块化和界面清晰，避免工具集过度臃肿导致功能模糊。
- 示例样本（小样本提示）需要具备多样性和典型性，在明确示范预期行为的同时避免引入过多边缘案例。
- 上下文检索策略正从'预推理检索'转向'即时加载'模式，智能体可在运行时动态获取所需数据。
- 长周期任务需要采用上下文压缩（摘要）、结构化备忘、子智能体架构等技术来突破上下文限制。
- 上下文工程的核心原则是：通过精选高信息密度的token，最大化模型有限注意力资源的利用率。