Show HN: Any-LLM – lightweight and open-source router to access any LLM Provider
10 months ago
- #Python
- #LLM
- #API
- 简单统一的接口，所有服务提供商只需一个函数即可轻松切换模型。
- 开发者友好，提供完整的类型提示、清晰的错误信息，并充分利用官方提供商SDK。
- 框架无关的设计，适用于各种项目和用例场景。
- 积极维护，已应用于any-agent产品，确保持续支持。
- 无需代理或网关服务器，简化配置流程。
- 针对碎片化的LLM提供商生态，通过统一接口解决各平台差异问题。
- 批判现有解决方案（如LiteLLM、AISuite及框架特定集成）的局限性。
- 要求Python 3.11或更高版本，并需LLM的API密钥访问权限。
- 安装时可选特定提供商支持或'all'选项获得完整支持。
- 提供使用Mistral API的基础示例代码供参考。