Don't rewrite your CLI for agents
3 days ago
- #agent performance
- #JSON payload
- #CLI arguments
- 关于建议用单个JSON负载替换CLI参数供智能体使用的观点，可能经不起实际测试的检验。
- 测试一个合成的CLI显示，扁平的CLI参数在所有模型运行中实现了完全正确的效果，而JSON格式在较小模型上的正确率较低。
- 由于重试和输出带来的额外令牌，JSON模式每项任务成本高出4到11倍，其中shell转义是主要的失败模式。
- CLI参数限制了输入空间，有助于模型（尤其是较小的模型）持续产生正确的输出。
- 建议在智能体应用中保持使用CLI参数，因为它们更可靠、更便宜，且避免了依赖于shell的问题。