Boring Iceberg Catalog – 1 JSON file. 0 Setup
a year ago
- #data-engineering
- #iceberg-catalog
- #open-source
- 来自日内瓦的自由数据工程师Julien每周分享数据工程领域的见解。
- 介绍了'Boring Catalog'——一个使用JSON文件和S3条件写入的简易Iceberg目录实现。
- 该目录设计初衷是便于实验Iceberg提交机制，无需复杂配置。
- 提供名为'ice'的CLI工具，包含类似Git工作流的'init'、'commit'和'log'等命令。
- 支持通过Python和Polars接口与目录交互。
- 采用S3条件写入实现并发控制，而非传统数据库后端。
- 未来计划包括增强CLI功能，可能增加REST接口以实现更广泛集成。
- 欢迎反馈与贡献，并提及Boring Data提供数据堆栈的入门套件服务。