Measuring the Impact of AI on Experienced Open-Source Developer Productivity
10 months ago
- #Randomized Controlled Trial
- #Software Development
- #AI Productivity
- 随机对照试验(RCT)显示AI工具使经验丰富的开源开发人员效率降低19%
- 研究旨在通过对比基准测试，理解AI对软件开发的实际影响
- 16名资深开发者处理246个真实问题，分组使用/不使用AI工具并记录屏幕时间
- 开发者预期AI能提升24%效率，但研究后仍误以为有20%的速度提升
- 研究识别出五个导致效率降低的关键因素，排除了多种实验干扰项
- 讨论揭示了基准测试分数、坊间报告与RCT结果之间的显著差异
- 提出新框架以协调关于AI能力的多源证据评估
- 未来研究将追踪AI对开发效率的影响，警示更广泛的AI研发加速风险