Show HN: Gerbil – an open source desktop app for running LLMs locally
4 months ago
- #Local AI
- #Desktop App
- #LLM
- Gerbil 是一款桌面应用程序，可通过 KoboldCpp 在本地运行大型语言模型（LLMs）。
- 它支持跨平台运行，原生兼容 Windows、macOS 和 Linux（包括 Wayland）。
- 功能包括自动更新、智能进程管理和性能优化。
- 支持图像生成，内置 Flux 和 Chroma 工作流程的预设。
- 可与 SillyTavern 集成实现角色交互，或通过 OpenWebUI 获得基于网页的聊天界面。
- 注重隐私保护，所有操作均在用户本地设备上运行。
- 可通过 GitHub 下载，提供各平台的专属可执行文件。
- Arch Linux 用户可通过 AUR 安装，使用命令如 `yay -S gerbil` 或手动安装。
- CLI 模式支持使用自定义参数运行 KoboldCpp，适合定制前端开发。
- Windows 系统的 CLI 模式需通过 Setup.exe 安装以确保功能正常。
- 包含对 Linux 系统 ROCm 的支持，但 Windows 的 ROCm 支持尚不完善。
- 采用 AGPL v3 许可证发布。