Paging Through a Parquet File in DuckDB: File_row_number or Offset?
3 hours ago
- LIMIT/OFFSET在分页遍历大型Parquet文件时并非最优；file_row_number快2.53倍且更可靠。
- 当preserve_insertion_order关闭且使用多线程时，OFFSET可能返回错误的行（缺失/重复）。
- 使用file_row_number结合parquet_metadata中的页边界来高效跳过行组。
- 性能提升取决于行组数量；单行组文件的改进较小。
- DuckDB内部将OFFSET重写为行号查找和半连接（针对≤1,000,000行的分页），但开销仍在增加。
- 对于排序键，WHERE id >= ? AND id < ?可以像file_row_number一样快。
- 使用哈希聚合（crypto_hash_agg）而非行数来验证导出，以捕获缺失/重复的行。
- 在分页之前考虑流式处理或预签名URL，因为分页会增加开销。
- 关键设置：preserve_insertion_order、late_materialization_max_rows、行组大小。