Understanding Moravec's Paradox
9 months ago
- #Machine Learning
- #Robotics
- #Artificial Intelligence
- 莫拉维克悖论指出，与常见误解相反，推理所需的计算量远少于感觉运动与感知任务。
- 机器任务的难度可通过两个维度理解：搜索空间大小与奖励稀疏性。
- 国际象棋对机器更简单，因其搜索空间相对较小且奖励频繁，而机器人技术涉及巨大动作空间与稀疏奖励。
- 人类通过数十亿年自然选择下的进化搜索，形成了复杂的感觉运动技能。
- 模拟未来状态对国际象棋等任务至关重要，但在机器人技术中因环境复杂性而极具挑战。
- 神经网络（如大语言模型）通过预训练压缩搜索空间，并利用RLHF等微调方法处理稀疏奖励，从而获得成功。
- 除非借助预训练或模拟器，强化学习在庞大搜索空间和稀疏奖励场景中举步维艰。
- 莫拉维克悖论表明，AI任务的难度取决于搜索空间与奖励稀疏性，这为预测未来问题解决的难易提供了框架。