Better Models: Worse Tools
8 days ago
- #Model regression
- #Schema compliance
- #LLM tool calling
- 新版的 Claude 模型（Opus 4.8, Sonnet 5）有时调用 Pi 的编辑工具时会在编辑数组中添加额外的、臆造的字段，导致违反模式规范并被拒绝，这与旧版模型不同。
- 问题可能源于 Claude Code 训练后处理过程的宽松性，它包容并吸收错误，从而强化了格式错误的调用，使模型适应了其特定的模式规范。
- Anthropic 的严格模式通过限制解码来解决问题，但这揭示出工具模式并非中立，可能受到主要训练环境的影响。
- 这种行为具有上下文依赖性，在代理历史（例如来自用户对话记录）中可复现，涉及随机臆造的键名，如 requireUnique、oldText2 或 type。
- 这种性能退化与如 Opus 4.5 等模型形成对比，后者能良好适应替代工具形态，引发了对模型在其他训练框架中可迁移性的担忧。
- 与 OpenAI 的 Harmony 格式相比，后者采用带内信号进行 JSON 约束采样，而 Anthropic 的封闭模型和框架限制了透明度和控制性。