AI made every test pass, but the code was still wrong
10 days ago
- #AI Testing
- #Solidity
- #Software Validation
- Doodledapp将可视化节点图转换为Solidity智能合约。
- 团队通过往返测试验证了17个真实世界合约的转换器准确性。
- AI生成的测试首次运行即通过所有检查，暴露出测试方法论的缺陷。
- AI测试的是实现而非意图，仅确认代码执行而非正确性。
- 研究人员将其定义为'基准真相问题'——AI缺乏独立真相来源。
- 团队重构方法，在AST层面比对合约语义正确性。
- 新方法通过对照原始合约，成功识别并修复漏洞。
- 核心结论：AI需要参考系验证正确性，而非仅验证实现。