We Are Changing Our Developer Productivity Experiment Design
7 hours ago
- #AI-productivity
- #developer-studies
- #selection-bias
- METR的初步研究（2025年2-6月）发现AI工具导致开源开发者的任务完成速度降低20%
- 2025年8月的后续研究（57名开发者）因选择偏差（开发者拒绝使用非AI工作）和时薪降低（150美元→50美元）出现可靠性问题
- 原始数据显示从早期2025年+19%减速转变为回归开发者-18%加速，但置信区间与无效效应重叠
- 关键挑战：30-50%开发者回避禁用AI的任务、智能代理工具导致时间追踪困难、不同实验条件下的任务质量差异
- 开发者语录显示强烈AI偏好（例如'就像选优步打车而非步行'）
- 建议替代研究方法：短期密集实验、GitHub观察数据、固定任务设计、开发者级别随机分组
- 当前研究设计可能低估真实AI效能：缺失高AI使用率开发者数据及AI优化任务场景