Benchmarking coding agents on Databricks' multi-million line codebase
3 days ago
- #Engineering Efficiency
- #Benchmarking
- #AI Coding Agents
- Databricks 使用其代码库中的实际工程任务开发了一个内部编码基准测试，用于评估 AI 编码代理的性能和成本。
- 该基准测试确定了模型中的三个不同能力层级，表明对于常见任务，高成本模型并非总是必要的，像 GLM 5.2 这样的模型在较低成本下也能提供有竞争力的质量。
- 由于推理效率的差异，令牌成本往往难以准确预测总体任务支出，不同测试平台的性能差异凸显了上下文管理的重要性。
- 团队强调了使用自定义基准测试而非像 SWE-Bench 这样的公开测试的必要性，以准确反映内部需求并确保优化不会阻碍开发人员。
- 通过使用合并的拉取请求作为基础，任务经过了严格的筛选和规范以创建可靠的基准测试，并通过手动验证来避免如从 Git 历史中泄露解决方案等问题。
- 研究结果支持在日常任务中使用成本效益高的模型，并通过智能路由来平衡效率和能力，同时计划扩展基准测试并自动化模型选择。