Beyond Semantics: Unreasonable Effectiveness of Reasonless Intermediate Tokens
a year ago
- #Chain of Thought
- #Machine Learning
- #Transformer Models
- 大型推理模型近期取得的惊人成果常被解读为思维链（CoT）方法的胜利
- 该论文通过研究中间标记的语义如何影响模型表现，对这一解读提出批判性审视
- Transformer模型在训练时使用形式可验证的推理轨迹和解法，与形式化求解器（A*搜索）保持对齐
- 尽管取得显著改进，但基于正确轨迹训练的模型在得出正确答案时仍会产生无效推理路径
- 在含有噪声的污染轨迹上训练的模型，其表现与基于正确数据训练的模型基本一致，有时甚至更优
- 这些结果挑战了'中间标记或思维链会引发可预测推理行为'的固有假设
- 论文警示不应将中间输出拟人化，或过度解读为语言模型具有类人/算法行为的证据