Asymmetric Quantization: Near-Lossless Retrieval with 97% Storage Reduction
a month ago
- 非对称量化实现了近乎无损的延迟交互检索，将每份文档的存储量减少了97%（从393 KiB降至12.28 KiB），且质量损失极小（NDCG@10仅下降0.61分）。
- Wholembed v3等延迟交互模型虽提升了检索精度，但因每份文档需生成多个向量而增加了存储成本。非对称量化将文档向量存储为1比特符号，同时保持查询向量更高精度（如int8），从而优化存储与性能。
- 通过高效的基于恒等运算的int8与二进制向量评分技巧，降低了存储需求并加速检索。生产环境基准测试显示，相比fp32实现了3.82倍加速，且存储经济性更优，使得延迟交互模型具备大规模应用可行性。