CodeScientist: Automated scientific discovery system for code-based experiments
a year ago
- #automated-experimentation
- #LLM
- #scientific-discovery
- CodeScientist是一个端到端的半自动化科学发现系统，能够设计、迭代和分析以Python代码形式表达的科学实验。
- 该系统通过遗传突变（LLM-as-a-mutator范式）结合科学论文和代码示例来生成新颖想法。
- 包含实验构建器组件，可自动在容器中创建、运行和调试实验代码，并生成结果报告。
- 支持两种运行模式：人工介入循环（主要模式）和全自动模式（效率较低）。
- 代码库包含开源软件、安装说明、研究报告、原始数据（实验代码/日志/想法等）和示例论文。
- 核心功能包括：从论文生成创意、手动/自动创建实验、批量自主实验、元分析及外部系统集成。
- 安装要求Ubuntu Linux（或MacOS）、Python 3.12、Latex发行版及Modal.com账户（用于云容器执行）。
- 用户可通过添加领域专业论文和代码块扩展系统能力。
- 内置成本估算工具管理LLM API使用，设有硬性限制防止费用失控。
- 示例实验展示了系统验证假设的能力，如LLM置信度与准确性、状态复杂性影响、知识图谱代理等研究。