Optimizing Tool Selection for LLM Workflows with Differentiable Programming
10 months ago
- #LLM
- #PyTorch
- #Differentiable Programming
- 现代代理架构依赖LLM调用链，由于延迟、成本和token开销问题，这种方式的扩展性较差。
- 可微分路由用可训练函数替代基于LLM的工具选择，具有本地执行、确定性和可组合性等优势。
- 一个最小示例是使用4层PyTorch网络进行工具选择，可通过下游任务奖励的反向传播进行训练。
- 基于提示的规划器存在上下文膨胀问题，导致token税、截断风险、注意力稀释和泄漏，而可微分路由器能保持恒定上下文长度。
- 可微分编程将控制逻辑与生成推理解耦，从而形成更模块化、可检查和可扩展的架构。
- 案例研究表明，在使用搜索和计算工具的规划器中，用可微分控制器替代LLM路由可降低3倍成本。
- 可微分控制器在经济和架构上都具有高效性，标志着从提示链向类程序化LLM系统的转变。