Perfectly Hitting the Wrong Target: The Story of an AI Code Review Benchmark
8 hours ago
- #benchmark critique
- #software engineering
- #AI code review
- 人们常将基准测试视为权威且客观的，但若不加以审视，可能缺乏深度。
- 作者批评了AI代码审查基准测试的方法论，认为其缺乏明确的问题定义，并将AI代码审查分割为两个问题：人类辅助与机器验证。
- 以人为中心的代码审查优先考虑建议，以优化有限的注意力；而以机器为中心的代码审查则强调为修复代理进行详尽分析。
- 论文承认了诸如审查者不完善和古德哈特定律等挑战，但可能过度强调与人类审查者的一致性等代理指标，而非减少生产故障等实际结果。
- 组织背景和问题严重性被忽视，通用基准测试可能平均化了软件质量的不同概念。
- 未来的代码审查系统应区分人类理解（界面和推荐设计）与机器验证（详尽强化和修复）。
- 尽管存在批评，该论文通过诸如承认人类审查者局限性和提出超越召回率和精确度的指标等贡献，推动了讨论的进展。