The One-Step Trap (In AI Research)
5 hours ago
- #Reinforcement Learning
- #Predictive Models
- #AI Research
- 一步预测陷阱是一种误解，认为AI智能体可以主要依赖一步预测，并通过迭代将其扩展到更长的周期，类似于使用世界模型或模拟器。
- 这种方法存在缺陷，因为不完美的一步预测会导致长期预测中的复合误差，并且在随机环境中，从一步预测计算长期预测在计算上呈指数级增长，是不可行的。
- 一步模型虽然吸引人且在如POMDPs和控制理论等领域广泛应用，但最终仍是不够充分的。
- 所提出的解决方案涉及使用选项和通用价值函数（GVFs）构建时间抽象模型，正如相关强化学习研究所参考的那样。