My Participation in the METR AI Productivity Study
10 months ago
- #Developer Experience
- #Open Source
- #AI Productivity
- METR研究发现使用AI的开发人员完成任务所需时间延长了19%（样本量=246个任务，95%置信区间[-40%, -2%]）
- 该研究采用随机对照试验，让开发者在有AI辅助和无AI辅助两种条件下完成任务
- 作者本人参与了这项研究，其工作对象是代码量超过100万行的jsdom项目
- 任务类型包括漏洞修复、功能实现和测试覆盖率提升，其中9个任务允许使用AI，10个任务禁用AI
- 使用的AI工具包括Cursor的代理模式、Claude Code和Gemini，但在代码库一致性和规范实现方面遇到挑战
- AI模型在适应现有代码库风格、重复性任务以及准确实现Web规范方面表现欠佳
- 尽管AI辅助任务过程更具参与感，但由于频繁出错和需要持续监督，实际效率并未提升
- 作者建议未来可采用并行代理模式作为更有前景的AI辅助生产力方案
- 与新建项目相比，大型成熟代码库对AI工具提出了独特挑战