Pruning RAG context down to what the answer actually needs
6 days ago
- #context pruning
- #RAG optimization
- #LLM efficiency
- 在检索与生成之间引入了一个小型、廉价的LLM来剪枝无关的上下文块。
- 剪枝器丢弃了约68%的检索块，同时保持了96%的召回率，将查询成本降低了约34%。
- 相关性分级采用五级量表（从“关键”到“无关”），并基于完整上下文进行判断，以考虑部分或间接相关性。
- 剪枝为每次查询增加了约0.7秒的延迟，但在涉及多次模型调用的智能体工作流中影响可忽略。
- 该方法通过集体评估块集来弥补点式重排器的局限性，从而优化了压缩与召回之间的权衡。