Why PostHog rebuilt its data warehouse on DuckDB instead of ClickHouse
9 days ago
- #DuckDB
- #data-warehouse
- #PostHog
- 最初的数仓目标是为小公司推迟雇佣数据工程师的需求。
- 随着公司规模扩大，数据工程师发现PostHog功能有限，遂将数据导出至外部仓库，使PostHog沦为中间件。
- 面临的挑战包括多租户问题——ClickHouse集群不支持长时间查询及可扩展性限制。
- ClickHouse因缺乏基于成本的查询优化器、S3/Deltalake/Iceberg支持不成熟，以及跨版本查询一致性问题，难以胜任通用数仓角色。
- 缺少dbt集成等数据工具及HogQL的局限性，阻碍了成熟数据团队的发展。
- PostHog基于DuckDB重建数仓，支持单租户实例、生命周期管理及Postgres Wire协议兼容性。
- 新特性包括用于本地计算的DuckHog，以及利用S3实现存储计算分离的DuckLake。
- 新架构能自动将所有PostHog事件数据同步至S3，集成外部数据源，并支持多种数据工具。
- 统一数仓为AI智能体提供完整的业务上下文，从而实现高级洞察与智能体驱动的工作流。