Show HN: Offline RAG System Using Docker and Llama 3 (No Cloud APIs)
3 months ago
- #Local AI
- #RAG
- #Docker
- 黑色星期五特惠：使用代码BLACKFRIDAY可享受所有源代码15%折扣。
- 生产级100%离线RAG架构，支持使用本地大语言模型与私有文档（PDF/TXT/Markdown）对话。
- 微服务架构，全容器化Docker Compose部署，一键启动。
- 组件包含Ollama（Meta Llama 3 8B模型）、mxbai-embed-large嵌入模型、ChromaDB向量数据库、Python+Streamlit前后端。
- 核心特性：100%隐私保护、NVIDIA CUDA GPU加速、智能文档解析、上下文感知对话、一键配置。
- 推荐硬件：Windows 10/11（WSL2）或Linux（Ubuntu）、16GB+内存、NVIDIA RTX 3060（8GB显存）或更高配置。
- 包含完整源代码、Docker配置、安装指南及高级技术支持服务。
- Gumroad平台一次性买断，终身使用授权。