To Make Language Models Work Better, Researchers Sidestep Language
a year ago
- #AI
- #Language Models
- #Latent Space
- 语言并非思维的必需品，部分神经科学家认为将想法转化为语言反而会拖慢思考速度
- 人工智能系统（尤其是大语言模型）可能通过数学空间（潜在空间）处理信息，从而受益于'脱离语言的思考'
- 大语言模型先将文本转换为标记，再转化为数值嵌入，通过转换器层处理生成隐藏状态，最终输出标记
- 现有大语言模型通过生成'思维链'标记来模拟推理步骤，但嵌入与标记间的反复转换会导致效率低下和信息损失
- 研究人员已开发出'椰子'模型和循环转换器模型等潜在空间推理模型，避免标记转换，在部分任务中实现了效率与准确率双提升
- 潜在空间推理使模型能在确信答案前保持思维过程的不确定性，提供了本质不同的推理范式
- 尽管效果显著，潜在推理模型仍面临传统架构投资惯性及与人类思维模式错位的应用挑战
- 潜在空间推理为大语言模型开创了全新'思考'模式，或将引领AI推理能力的重大突破