Cline-Bench: A Real-World, Open-Source Benchmark for Agentic Coding
6 months ago
- #Agentic Coding
- #Open Source
- #AI Benchmarking
- 推出cline-bench——一个源自真实开源开发场景、面向智能体编程的现实世界开源基准测试
- 旨在弥补当前编程基准测试的缺陷（现有测试多类似LeetCode谜题，而非真实工程挑战）
- Cline-bench环境包含仓库快照、真实问题定义及可复现的自动化验证标准
- 任务均采自开源项目实际场景（模型失败或需人工干预的案例），确保相关性与难度
- 公开征集贡献：工程师可通过Cline Provider参与或手动提交开源仓库任务
- 基准目标包括可靠评估、开放科学进步、以及微调与强化学习的训练数据
- 优先保障隐私安全：用户可自主控制参与权，默认排除企业数据
- 启动100万美元赞助计划，奖励为cline-bench贡献高价值任务的开源维护者
- Cline-bench保持完全开源免费，以促进AI智能体编程的社区共同进步