Sapients paper on the concept of Hierarchical Reasoning Model
10 months ago
- #Hierarchical Reasoning
- #Machine Learning
- #Artificial Intelligence
- 当前大型语言模型（LLMs）主要采用思维链（CoT）技术，但存在任务分解脆弱、数据需求高、延迟明显等局限性。
- 分层推理模型（HRM）作为一种新型循环架构被提出，其灵感来源于人脑的分层多时间尺度信息处理机制。
- HRM由两个相互依存的循环模块组成：高层模块负责缓慢的抽象规划，底层模块处理快速的细节计算。
- 仅需2700万参数和1000个训练样本，HRM无需预训练或CoT数据即可在复杂推理任务中表现卓越。
- HRM在数独难题求解、大型迷宫最优路径寻找等高难度任务中近乎完美表现。
- 在人工通用智能关键测试ARC（抽象推理语料库）上，HRM以更短上下文窗口超越参数量更大的模型。
- HRM的成果标志着向通用计算和通用推理系统迈出了突破性的一步。