Hasty Briefsbeta

双语

Agents.md file isn't the problem. Your lack of Evals is

3 months ago
  • #Context Engineering
  • #AI Agents
  • #Evals
  • 上下文文件(如AGENTS.md)仅将任务完成率提高了4%,而LLM生成的文件反而使性能下降3%,成本增加20%。
  • 真正的问题不在于上下文文件本身,而在于缺乏评估(evals)来验证其有效性。
  • 上下文文件应像测试一样对待:精简、经过验证,并专注于能纠正特定代理行为的高价值指令。
  • 评估提供了一个反馈循环,用于衡量上下文指令是否提升了代理性能,从而帮助优化上下文文件。
  • 自动生成的上下文文件效果不佳,因为它们缺乏验证,且不了解代理实际出错的原因。
  • 解决方案不是放弃上下文文件,而是采用类似测试实践的严谨方法来进行上下文工程。