The M×N problem of tool calling and open-source models
7 days ago
- #open models
- #tool calling
- #wire formats
- 与闭源模型进行工具调用无缝衔接，但开源模型引入了线格式依赖，若不支持可能导致输出混乱。
- 不同模型系列，如Harmony、DeepSeek和GLM5，以不相容的线格式编码工具调用，这些格式拥有独特的词汇表和序列化方案。
- 解析模型输出需要在每个应用中为每种模型实现定制方案（如vLLM、SGLang），导致bug和逆向工程挑战。
- 通用解析器难以应对线格式的开放性特性，无法处理非标准设计，造成如推理令牌泄漏到参数等问题。
- 语法引擎和输出解析器都需要相同的模型特定格式知识，但它们独立开发，导致生态系统中重复投入。
- 需要一个共享的声明式规范来描述工具调用的线格式，以标准化配置并减少工具间的逆向工程工作量。