AI recursive self-improvement might not come so quickly after all
2 days ago
- AI代理尚不够创意，无法开展开放式AI研究，这对递归自我改进至关重要。
- 一项研究引入了'影子评估'方法，对AI进行了未发表研究问题的测试；智能体未能产出顶级会议质量的论文。
- 智能体在工程任务如运行实验方面表现出色，但在判断力、创造力以及从失败方法中回溯的能力上存在不足。
- 研究强调，通过强化学习训练AI适用于狭窄任务，但在需要新颖想法的开放式研究中面临挑战。
- 限制包括仅测试了两篇论文，以及人类评估者知晓论文由AI生成可能带来的偏见。
- 结果对递归自我改进的夸长时间线提出了质疑，与Anthropic等公司的内部发现相呼应。
- 一个重大的未解问题是，仅靠狭窄任务的改进能否带来变革性的AI，还是创造力突破必不可少。