Show HN: FlexInference LLM Router
2 days ago
- FlexInference是一项服务，它通过路由AI推理请求来在指定时间预算内寻找更便宜的选项。
- 如果未找到更便宜的推理选项，请求将升级到标准层级且不产生额外费用；路由服务免费。
- 用户使用自己的提供商密钥，并直接由提供商计费，FlexInference从节省的费用中抽取20%作为服务费。
- 它支持OpenAI、Anthropic、Gemini，并集成了Amazon Bedrock和Google Vertex AI等平台。
- 该服务通过不存储提示或回复，并使用信封加密技术保护密钥来确保数据隐私。
- 它提供透明的错误处理、严格的参数遵循，并能通过SDK或直接API调用进行交互。
- 通过MCP服务器，编码工具可以使用OAuth管理密钥和搜索文档，而无需处理原始密钥。
- 由Adi创立，旨在通过降低成本及减少拖慢和限制推理的中间层来改进AI模型的使用权限。