Don't be fooled–LLMs don't reason
4 hours ago
- AlphaGo在2016年对阵李世石的比赛中，创造性的一手37是博弈树搜索推理的产物，而非单纯的直觉或概率。
- 当前的大型语言模型（LLMs）依赖快速、联想的模式补全（系统1），缺乏真正的思考过程，因为思维链仍然使用相同的下一个词元预测机制。
- 三个关键缺陷阻碍了LLMs实现真正推理：没有明确可检查的认知状态；知识与操作之间没有分离；以及倾向于事后推理，并不反映实际的思考过程。
- 未来的AI系统需要借鉴AlphaGo的架构，配备独立的认知状态和评估机制，以便在医学和科学等高风险领域中产生可信、可审计的结论。
- 仅靠规模无法将直觉转变为推理；系统必须明确表示信念，权衡证据，并通过一系列深思熟虑的步骤来修正知识。