OSS Alternative to Open WebUI – ChatGPT-Like UI, API and CLI
4 months ago
- #LLM
- #API
- #CLI
- 轻量级CLI工具、API及类ChatGPT的Open WebUI替代方案，支持离线访问多种大语言模型
- 所有数据私有化存储在浏览器中，兼容本地模型及API服务商模型
- 通过llms.json配置文件管理供应商、模型及默认参数
- 智能路由至支持目标模型的可用供应商，自带故障转移机制
- 支持OpenRouter/Ollama/Anthropic/Google/OpenAI/Grok/Groq/Qwen/Z.ai/Mistral等十余家供应商
- 提供OpenAI兼容API，实现现有客户端的无缝对接
- 内置分析看板，实时监控成本、请求量及token消耗
- 供应商管理便捷化：支持快速启用/禁用及参数配置
- CLI支持快速交互，服务器模式可启用HTTP API服务
- 多模态能力覆盖：文本/图像(自动缩放转换)/音频/文档(PDF)
- 支持多模态定制对话模板，自动发现Ollama模型
- 统一跨供应商的模型命名规范，兼容160+种大语言模型
- GitHub OAuth保障Web UI及API端点安全，可选用户权限控制
- 提供Docker及Docker Compose部署方案
- CLI支持细粒度模型选择、系统提示词及原始JSON响应
- 详尽的日志记录与自定义日志前缀，便于调试
- 健康检查机制，支持linux/amd64和linux/arm64多架构
- 配备完整的使用文档，涵盖安装配置及故障排查