Yann LeCun's Bet That Intelligence Starts in the World
10 hours ago
- 人工智能的核心争论在于，智能是从语言开始，还是从构建预测行为后果的内在世界模型开始。
- Yann LeCun的JEPA（联合嵌入预测架构）在潜在空间中预测嵌入，而非原始像素或标记，从而避免了下一帧预测中的模糊平均问题。
- 表示崩溃（即模型对所有输入输出相同嵌入）是一个关键挑战；像Barlow Twins这样的方法利用互相关矩阵来避免这一问题。
- 世界模型使智能体能够预测未来状态、规划动作序列，并在混乱的真实世界环境中稳健行动，这与VLA模型中的行为克隆形成对比。
- JEPA在视觉和视频任务（如V-JEPA）中已展现出潜力，但长期规划仍然困难，可能需要在层次抽象上进一步发展。
- 短期未来可能涉及将JEPA用于世界状态表示与LLM用于语言接口的结合，而非用其一取代另一者。