- Databricks 使用其代码库中的实际工程任务开发了一个内部编码基准测试，用于评估 AI 编码代理的性能和成本。
- 该基准测试确定了模型中的三个不同能力层级，表明对于常见任务，高成本模型并非总是必要的，像 GLM 5.2 这样的模型在较低成本下也能提供有竞争力的质量。
- 由于推理效率的差异，令牌成本往往难以准确预测总体任务支出，不同测试平台的性能差异凸显了上下文管理的重要性。
- 团队强调了使用自定义基准测试而非像 SWE-Bench 这样的公开测试的必要性，以准确反映内部需求并确保优化不会阻碍开发人员。