OpenZL: An Open Source Format-Aware Compression Framework
7 months ago
- #structured-data
- #data-compression
- #open-source
- OpenZL是一种新型开源数据压缩框架，专为结构化数据的无损压缩而设计。
- 它既保留了专用格式压缩器的高性能，又具备单一可执行文件的简洁性。
- OpenZL通过可配置的转换序列揭示数据中的隐藏规律，从而提升压缩效率。
- 该框架包含通用解压器，可处理所有OpenZL压缩文件，不受原始转换序列影响。
- 基准测试表明，OpenZL在压缩率和速度上均优于Zstandard和xz等传统压缩工具。
- 系统支持通过预设或简单数据描述语言(SDDL)定义数据结构，自动优化压缩策略。
- OpenZL特有的离线训练组件可学习特定数据类型的最优压缩配置。
- 框架支持运行时自适应，通过控制点根据数据特征动态调整压缩策略。
- OpenZL保持向后兼容性，既能解压旧版文件，又能持续优化新数据的压缩效果。
- 该项目开放社区贡献，欢迎新增转换器、优化方案和格式支持等改进。