Experts Have World Models. LLMs Have Word Models
3 months ago
- #AI
- #Adversarial Reasoning
- #World Models
- 专家拥有世界模型，而大语言模型（LLM）只有词汇模型——其核心是下一词预测而非下一状态预测
- 讨论了三种世界模型：3D视频世界模型、Meta的JEPA及其相关模型、用于对抗推理的多智能体世界模型
- 文章强调孤立评估文本与模拟其在真实多智能体环境中的接收效果存在本质差异
- 案例表明领域专家能预判对抗性反应和隐藏动机，这正是当前LLM的建模盲区
- 国际象棋等完全信息博弈与扑克等非完全信息博弈的根本区别在于：后者需要处理隐藏状态和对手适应性
- LLM被优化为生成连贯输出，但缺乏模拟多智能体动态环境的能力——其他参与方会不断调整策略
- 核心矛盾不在原始智力，而在训练范式——LLM需要在对抗性环境中接受结果导向的评估，而非静态输出评判
- 专家通过压力测试评估系统鲁棒性，外行则关注表面质量（如连贯性、专业感）
- 扑克与国际象棋的类比揭示了现实应用中隐藏状态和对抗动态的建模挑战
- 未来解决方案可能需要多智能体训练环境，使LLM能从交互结果中学习，并适应被其他智能体建模的反身性场景