4-Bit Rotational Quantization: -45% RAM, <1% recall drop vs. TurboQuant
5 hours ago
- Weaviate 1.39 引入了4位旋转量化（RQ），与早期版本相比性能显著提升。
- SIMD支持快速沃尔什-哈达玛变换（FWHT）加速了向量旋转，在某些CPU上变换速度提升高达6.1倍。
- 所有RQ变体的编码性能均得到提升，其中RQ8速度提升高达3.8倍，新的RQ4选项也非常高效。
- 距离内核使用SIMD半字节函数和优化的字节点积，使8位速度提升高达2.2倍，并支持高效的4位操作。
- 在AMD64和ARM64架构上的预取增强将HNSW查询吞吐量提升了7-11%，导入速度提升了12%。
- 居中和存储极端坐标提高了召回率，在多个数据集上，RQ4c（居中）在recall@10上增加了+0.1到+6.1个百分点。
- RQ4在100万到2.5亿向量之间表现出平坦的召回率，展示了可扩展性和稳定的性能。
- RQ4c在大多数数据集上优于TurboQuant，特别是在居中和重新归一化方面，并且支持8位，而TurboQuant不支持。
- 与8位相比，4位RQ减少了约45%的内存使用，Weaviate Cloud默认保留8位，但4位可用于节省成本。