Deprecated Accessor Footgun in AI SDK v7
2 days ago
- #AI Benchmarking
- #Conversation History
- #Tool Calling
- 对话历史构建中的一个漏洞导致小型模型在多轮工具调用中失败。
- 该漏洞从历史记录中清除了模型自身的工具调用及其结果，使得后续任务无法进行。
- 通过将工具调用和结果纳入历史记录来修正历史后，所有模型的成功率均恢复至100%。
- 前沿模型尽管历史记录不完整但仍表现出色，掩盖了这一缺陷，从而隐藏了问题。
- 提示缓解措施与损坏的历史记录产生了不可预测的交互，有时会导致灾难性的故障。
- 审计对话历史并添加回归测试对于避免类似漏洞至关重要。
- 完整工件重写设计对此类故障免疫，因为它们没有隐藏的工具通道。
- 发现该漏洞后，已发布的基准测试结果得到修正，显示工具与重写方案表现相当。