Hierarchical Reasoning Model – 1k training samples SoTA reasoning v/s CoT
10 months ago
- #AI
- #Machine Learning
- #Reasoning Models
- 层次推理模型(HRM)作为一种新型循环架构被引入，专门用于AI推理任务。
- HRM通过两个相互依赖的模块运行：高层模块负责抽象规划，底层模块处理细节计算。
- 仅用2700万参数，HRM在极少量训练数据(1000个样本)下就能在复杂推理任务中取得卓越表现。
- 在衡量通用人工智能的基准测试ARC(抽象与推理语料库)中，HRM的表现超越了参数量更大的模型。
- 安装需要PyTorch、CUDA以及FlashAttention等额外软件包以确保GPU兼容性。
- 训练涉及数独、ARC和迷宫求解任务的数据集，针对不同GPU配置提供具体命令。
- 评估包括在Weights & Biases平台检查精确准确率，并使用提供的Jupyter笔记本进行详细分析。
- 该模型记录于关望等人2025年发表在arXiv的论文《层次推理模型》中。