A verification loop 4x'd DeepSeek's intelligence, matching Opus at 1/7 the cost
5 days ago
- #AI coding agents
- #cost efficiency
- #verification loop
- 验证循环通过早期发现错误，显著提高了编码代理完成多步网页开发任务的能力。
- 使用IronBee（验证层）配合DeepSeek（低成本模型）将任务完成率从平均6.8/20提高到了17/20，与Claude Opus（前沿模型）的性能相当。
- DeepSeek结合IronBee取得了与单独使用Opus相似的效果，但成本仅为约1/7（每次运行2.4美元对15美元），这表明验证可以减少对昂贵模型的依赖。
- 研究强调，验证对于只有在运行应用程序进行测试时才会出现的错误帮助最大，特别是在顺序任务中，早期的错误会不断累积。
- 局限性包括最初仅使用了一个项目和模型对，计划未来扩展到更多模型和项目，并进行成本匹配的消融研究以获得更广泛的见解。