Making LLMs Cheaper and Better via Performance-Efficiency Optimized Routing
9 months ago
- #LLM
- #Machine Learning
- #AI Optimization
- Avengers-Pro 是一个面向大语言模型的测试时路由框架，旨在优化性能与效率。
- 该系统通过性能-效率评分机制，动态将查询路由至最合适的模型。
- Avengers-Pro 取得突破性成果，平均准确率超越GPT-5-medium达7%以上。
- 在降低27%成本时保持最强单体模型精度，以降低63%成本实现约90%性能表现。
- 该框架构建了帕累托前沿，可在任意给定成本下提供最优精度，反之亦然。
- Avengers-Pro 的代码已开源发布。