CWM: An Open-Weights LLM for Research on Code Generation with World Models
8 months ago
- #AI
- #Code Generation
- #Machine Learning
- 代码世界模型（CWM）是一个拥有320亿参数的开源权重大语言模型，专为代码生成研究设计。
- 该模型通过Python解释器和Docker代理环境的中间训练，增强了对代码的理解能力，超越了静态代码训练的效果。
- 模型在可验证的编程、数学和软件工程环境中进行了多任务推理强化学习训练。
- CWM支持13.1万token的上下文长度，在编程和数学任务中展现出强劲性能。
- 性能指标包括：SWE-bench Verified测试集65.8%、LiveCodeBench测试集68.6%、Math-500测试集96.6%、2024年AIME竞赛76.0%。
- 模型检查点在中间训练、监督微调和强化学习阶段后均已发布，以支持代码世界建模的后续研究。
- CWM致力于提升代理式编程能力，逐步模拟Python代码执行过程，并增强推理能力。