Writing Parquet files using Haskell
2 days ago
- DataHaskell/Dataframe 提供了一个简单的 `writeParquet` 函数，用于以合理的默认值写入 Parquet 文件，以及 `writeParquetWithOptions` 用于精细控制行组大小、页面大小、压缩和其他设置。
- Parquet 格式提供高效的存储、高压缩比，并最大限度地减少读取不相关数据，使其在 Haskell 生态系统中处理大规模数据互操作性时优于 CSV/JSON。
- Parquet 文件由行组组成，每个行组包含由数据页组成的列块；末尾的元数据包括偏移量、统计信息和布隆过滤器，以支持查询优化。
- 关键的写入选项包括 `pageSize`、`rowGroupSize`、`batchRows`、`subBatchRows` 和 `compressionCodec`，目标被视为尽力而为；批处理和子批处理确保跨列块的行数一致。
- 内存缓冲区使用固定的 `MutableByteArray` 实现，以允许在不产生碎片的情况下增长，并提供了辅助函数用于写入基本类型以及将缓冲区刷新到磁盘或其他缓冲区。
- 核心写入循环是对数据帧进行的效果化折叠，维护文件句柄、列块缓冲区、临时缓冲区、行组元数据和行数的状态；`writeBatch` 和 `rowWriterLoop` 处理批处理和页面填充。
- 未来的工作包括支持更多压缩算法和编码、添加并发、记录可选元数据（统计信息、布隆过滤器），以及实现两遍策略以减少大型行组的内存使用。