Production RAG: what I learned from processing 5M+ documents
7 months ago
- #Machine Learning
- #RAG
- #AI Development
- 从Langchain和Llamaindex开始构建RAG系统，快速实现了原型但生产环境效果欠佳。
- 关键改进包括：通过查询生成扩大上下文覆盖、重排序提升文本块相关性、优化分块策略。
- 通过添加标题/作者等元数据增强LLM响应，并实现非RAG问题的查询路由功能。
- 技术栈从Azure演进至Pinecone再到Turbopuffer向量数据库，定制了文档提取和分块方案。
- 项目以MIT协议开源为agentset-ai/agentset，共享技术经验和解决方案。