- 验证循环通过早期发现错误,显著提高了编码代理完成多步网页开发任务的能力。
- 使用IronBee(验证层)配合DeepSeek(低成本模型)将任务完成率从平均6.8/20提高到了17/20,与Claude Opus(前沿模型)的性能相当。
- DeepSeek结合IronBee取得了与单独使用Opus相似的效果,但成本仅为约1/7(每次运行2.4美元对15美元),这表明验证可以减少对昂贵模型的依赖。
- 研究强调,验证对于只有在运行应用程序进行测试时才会出现的错误帮助最大,特别是在顺序任务中,早期的错误会不断累积。