A Data-Driven Explanation: Why Do AI Agents Still Fail
4 hours ago
- 预计到2028年，AI代理将产生4500亿美元的经济价值，但在各业务职能中的部署仍仅为个位数百分比。
- 编码代理是个例外，能够成功交付端到端的工作，而大多数其他代理在可靠性方面存在问题。
- 四个关键因素解释了承诺价值与实际交付价值之间的差距：方差、基准质量、代理特定错误和对齐。
- 代理性能的方差（运行内和运行间）会导致可靠性随着任务步骤的增加而呈指数级下降。
- 基准数据集经常包含错误，导致性能评分误导和工程精力浪费。
- 自有数据集很快就会过时，需要持续维护，并且随着生产环境的变化难以保持。
- 代理错误已从机械性失误转变为更高级别的失败，如策略和数据忠实性，这些更难检测。
- 每个模型都有独特的失败特征，这意味着改进需要系统级调优，而不仅仅是等待更好的模型。
- 对齐问题源于未明确说明的人类偏好，如果没有明确的沟通，再多的模型能力也无法解决。
- 这些问题是系统性的，可以通过工程手段解决，而不仅仅是模型改进。