2 months ago
- Ramp Router 是一款LLM路由服务，可根据任务类型将AI请求导向最合适的模型，在实现最低延迟的同时将成本降低30%。
- 该服务每月处理超过2.75万亿个令牌，路由可靠性达99.999%，并应用了缓存、压缩等100多项优化技术。
- 该服务通过单一API端点提供对主流闭源和开源模型的访问，并具备自动故障转移和更新功能，以适应价格和性能变化。
- Ramp Router 支持 OpenAI、Anthropic、Gemini 及开源模型，推出时免费使用，并向早期用户提供100美元信用额度。
- 它提供兼容 OpenAI 的 API，便于集成，并包含令牌支出管理功能，可按模型、产品、团队和项目进行分类归属。