Control LLM Spend and Access with any-LLM-gateway
6 months ago
- #Budgeting
- #LLM
- #API
- any-llm-gateway 为LLM使用提供预算管理、分析和访问控制功能。
- 该工具提供基于FastAPI的代理服务器，支持OpenAI兼容的Completions API。
- 核心功能包括带自动重置的智能预算管理系统。
- 灵活的API密钥系统，支持虚拟密钥和过期时间设置。
- 完整的用量分析功能，可追踪token数量、费用消耗和元数据。
- 支持Docker和Kubernetes的生产级部署方案。
- 提供快速入门指南和文档，便于安装配置。