Tests Come for Free Now, and Most of Them Are Pointless
6 hours ago
- AI编码代理现在自动生成测试，但大多数毫无意义且拖慢开发速度。
- 许多项目缺乏良好的测试套件；现有测试经常在不同机器上失败，且被开发者跳过。
- 代理生成许多琐碎的测试（例如检查文件内容、比较翻译键），这些测试很少能捕捉到真正的问题。
- 高风险代码（例如外部API调用、爬虫）因为难以测试而未被测试，而容易的代码却被过度测试。
- 绿色测试套件并不能保证应用程序正常工作；即使所有测试通过，仍然会出现bug。
- 让AI像用户一样与应用程序交互——通过自适应脚本点击功能——能更有效地发现实际bug。
- 作者将测试套件从数千个减少到63个关键测试，运行时间30秒，代理现在花时间探索应用程序，而不是等待测试。