Indexing the Data Lake for Online Point Queries7 hours agohttps://engineering.atspotify.com/2026/7/indexing-the-data-lake-for-online-point...像 Spotify 这样的公司需要低延迟访问大型数据集以用于在线服务和 AI 代理，但分布式 SQL 引擎对点查询会增加数秒的开销。随机访问 Parquet（RAP）通过使用外部索引将键直接映射到文件位置来弥合这一差距，从而实现精确的范围读取，无需扫描。RAP 在现有的 Parquet 文件上运行，无需在键值存储中创建单独的副本。外部索引是一个确定性的多重映射，它返回给定键的精确文件和行号，从而减少依赖读取。更多...