Better Vector Search for Long Documents: Chunking Inside Manticore Search
3 hours ago
- - Manticore的自动嵌入功能现在在表定义中包含了chunk_strategy选项，以处理超出模型令牌限制的长文档。
- - 可用的分块策略有五种：截断（默认）、均值、固定、递归和句子，每种策略每个文档产生单个或多个向量。
- - 分块显著提高了对隐藏内容的召回率：在测试中，召回@5从55.1%提升到83.3%，MRR从0.44提升到0.70。
- - 较小的分块大小（128-256个令牌）通常能提高搜索质量，而令牌重叠带来的好处很小，但会增加向量数量和内存使用。
- - 该功能适用于本地和远程嵌入模型，无需单独的分块流水线或表，并能与现有的KNN搜索查询无缝集成。