Most "self-improving" AI agents don't improve
9 hours ago
- 生产环境中的大多数‘自我改进’AI代理缺乏真正的自我改进能力；在9个被检查的案例中，只有2个具有可验证的自我改进循环。
- 自我改进循环的有效性取决于一个基于真实世界数据的验证器，而构建这样的验证器既困难、缓慢又复杂。
- 构建验证器是一个关键的竞争机会；许多AI项目因其难度而回避。
- 验证器项目所需的关键资源：(1) 真实世界数据基础，(2) 专家对失败案例的反馈及其成本。
- Replit的编程代理使用了一个包含模拟应用测试和A/B测试的验证器，外加Telescope轨迹聚类。
- 税务AI代理在六周内通过专家注册会计师对每个字段的反馈，准确率从约25%提升至86%。
- 自动评估是一种常见但有缺陷的捷径；由于标准漂移和奖励破解，没有真实世界输入时它们会失败。
- 在赞助一个自我改进循环之前，要协调好资源：真实世界数据源和专家反馈机制。