Context Engineering for Agents
a year ago
- #LLM
- #Agents
- #Context-Engineering
- 智能体执行任务需要上下文环境，而上下文工程就是优化大语言模型上下文窗口内信息的过程。
- 大语言模型被类比为操作系统，其上下文窗口如同内存条（RAM），容量有限需要精心管理。
- 上下文类型包括：指令（提示词、工具描述）、知识（事实、记忆）和工具（来自工具调用的反馈）。
- 长时间运行的智能体任务可能导致上下文污染、注意力分散、逻辑混乱和指令冲突等因token过量产生的问题。
- 上下文工程的四大核心策略是：写入、筛选、压缩和隔离。
- 写入上下文指将信息保存在上下文窗口之外，例如使用草稿板或长期记忆存储。
- 筛选上下文意味着在需要时检索相关信息（如记忆、工具），通常借助嵌入向量或知识图谱实现。
- 压缩上下文通过摘要提炼或修剪技术来减少token消耗。
- 隔离上下文通过子智能体或沙箱环境分割任务，以管理高token消耗的操作。
- 多智能体系统和状态对象能有效实现上下文的隔离与管理。