Product Quantization: Compressing high-dimensional vectors by 97%
a year ago
- #data-compression
- #machine-learning
- #vector-search
- 乘积量化(PQ)是一种高维向量压缩方法，最高可减少97%的内存使用量。
- PQ将向量分割为子向量，为每个子向量分配最近的质心并用ID替代，从而显著降低内存占用。
- 将PQ与倒排文件(IVF)索引结合(IVFPQ)，相比非量化索引能在保持精度的同时将搜索速度提升92倍。
- PQ已在Faiss等开源库和Pinecone等服务中实现，提供高效的向量搜索能力。
- 量化与降维的区别在于：前者聚焦缩减取值范围的广度，而非减少维度数量。
- PQ的内存效率与速度优势会牺牲部分召回精度，但可通过调整nbits和nprobe等参数进行优化。
- Sift1M数据集的案例展示了PQ的实际应用效果，在搜索速度和内存使用方面均有显著提升。
- IVFPQ索引通过将搜索范围限制在最近的Voronoi单元，进一步实现了速度与召回率的平衡优化。