So you wanna build a local RAG?
6 months ago
- #Privacy
- #Self-Hosting
- #RAG
- Skald被设计为可自托管运行，无需向第三方发送数据，解决了组织对隐私保护的顾虑。
- 基础RAG架构包含向量数据库、向量嵌入模型和大语言模型(LLM)，可选组件包括重排序器和文档解析器。
- 为每个RAG组件提供了专有和开源替代方案，强调构建本地化系统的灵活性。
- Skald的本地技术栈采用Postgres+pgvector作为向量数据库，Sentence Transformers生成嵌入，并允许用户自定义LLM和重排序器。
- 基准测试显示，完全本地化的GPT-OSS 20B方案表现良好（平均分8.63），但在处理非英语查询和跨文档信息聚合方面存在局限。
- bge-m3和mmarco-mMiniLMv2等多语言模型提升了非英语查询的响应质量，但信息整合能力仍有改进空间。
- Skald计划进一步完善本地化方案，并发布更多开源模型的基准数据，以满足隐私敏感型和物理隔离基础设施的需求。