GLM 5.2 beats Claude in our benchmarks
14 days ago
- #Open-Weight Models
- #Vulnerability Detection
- #AI Security
- GLM 5.2是智谱AI推出的开源模型，其在IDOR检测上达到了39%的F1分数，超过了Claude Code（32%），每个漏洞的检测成本约为0.17美元。
- 实验对比了使用与不使用自定义框架（脚手架）的模型；GLM 5.2仅通过提示就表现良好，而Semgrep的多模态管道配合框架得分更高（F1分数53–61%）。
- GLM 5.2的主要优势包括开源（MIT许可证）、编码性能具有竞争力（例如在Terminal-Bench 2.1上得分为81.0），以及相对于前沿模型的低成本。
- IDOR（不安全的直接对象引用）漏洞因涉及业务逻辑而常见且难以检测，需要跨文件推理且没有明确的危险函数标识。
- 研究强调了框架在漏洞检测中的重要性，表明性能取决于模型能力和支持基础设施的共同作用。
- 经济因素（如单漏洞成本）对可扩展性至关重要，GLM 5.2为安全任务提供了成本效益高的解决方案。