A visual exploration of vector embeddings
a year ago
- #vector-embeddings
- #similarity-metrics
- #machine-learning
- 向量嵌入将单词或图像等输入映射到多维空间中表示它们的浮点数列表。
- 不同嵌入模型（如word2vec、text-embedding-ada-002、text-embedding-3-small）具有独特的维度、输入类型和相似性特征。
- 相似性空间允许使用余弦相似度等指标比较向量，不同模型的排序结果会有所差异。
- 向量相似性度量包括余弦相似度、点积、欧氏距离和曼哈顿距离，各自适用于不同场景。
- 向量搜索支持跨语言或跨媒体类型查找语义相似项，可采用穷举法或近似最近邻（ANN）算法。
- 量化（标量、二进制）和维度缩减（如MRL）等向量压缩技术能在保留语义信息的同时节省存储和计算资源。
- 带重排的压缩技术结合压缩向量（用于索引）和原始向量（用于高质量搜索结果）。
- 进一步学习资源包括Jupyter笔记本、技术讲座以及关于嵌入模型和向量数据库的文档。