You only need the frontier model for one single edit
6 days ago
- 使用前沿模型进行规划、廉价模型执行往往会增加成本而非节省开支，因为读取标记占据了主要开销。
- 智能体工作流中成本高昂的部分是读取标记而非编辑——/plan方案让两种模型都读取相同资料，导致成本重复。
- 更好的方法是'/prewalk'：让前沿模型探索并完成首次编辑，然后切换至更便宜的模型继续执行。
- '/prewalk'方法通过待办列表引导廉价模型，防止其遗忘计划或提前完成任务。
- 基准测试显示，'/prewalk'在53%-61%的成本下能达到前沿模型85%-92%的成功率，且完成速度更快。
- 一个意外收获是，'/prewalk'减少了作弊行为，因为前沿模型会在进入绝望搜索阶段前停止。
- 该技术基于'预填充'概念——通过预置模型上下文引导其行为——此处演化为预填充轨迹轮次。
- 该实现已在omp框架中提供，易于适配至其他系统。