Senior SWE-Bench: open-source benchmark that assesses agents as senior engineers
11 days ago
- #Benchmarking
- #Software Engineering
- #AI Agents
- 高级SWE-Bench将代理视为高级工程师，采用真实、自然的语言指令，而非过度细化的需求。
- 它引入了一个验证代理，用于编写行为测试来评估任务，并能适应提交的解决方案。
- Bug任务基于棘手的用户报告，需要运行时调查，例如调试日志和复现步骤。
- 评分结合了运行时正确性测试和质量指标，以评估优雅的代码解决方案。
- 任务来源于多样化仓库的PR，涉及多阶段、多堆栈的功能或bug，需要进行大量的运行时调查。
- 指令自然且不够具体，其长度中位数仅为SWE-Bench Pro的31%。
- 功能任务可能跨越多个服务，平均每个任务涉及11个文件，并且是长期性的，需要数百个步骤来完成。
- 排行榜显示了表现最佳的模型，如Claude Opus 4.8，其解决率达到24.0%，而前沿模型的失败率超过75%。