- 作者在四个月的使用中因效果不一而废弃了其大语言模型路由器,得出结论:对大多数用例而言,坚持使用单一经过实战检验的模型更为可靠。
- 任务的复杂度无法仅从提示词推断;上下文需通过工具调用、网络搜索等后续步骤逐步显现。
- 缓存比路由更能有效降低成本,因为缓存读取可节省75–90%的费用,且前缀缓存对系统提示和对话历史记录效果显著。
- 大语言模型路由器会破坏行为一致性;工程师应像工匠一样理解模型权衡并审慎选择工具。
- 路由带来的不可预测性增加了自动化工作流的成本,使评估、系统提示和可观测性更难维护。
- 总体而言,路由节省的成本常被隐性开销抵消,在多数观察用例中并非值得采用。