Show HN: Code First CDC from Postgres to ClickHouse with MooseStack
4 months ago
- #Debezium
- #CDC
- #ClickHouse
- 使用Debezium(Kafka Connect)、PostgreSQL、Redpanda和ClickHouse构建CDC管道的易运行演示
- 需要Docker + Docker Compose以及Node.js 20+(使用pnpm)
- 使用Moose CLI启动开发服务器,该工具管理ClickHouse、Redpanda和CDC服务
- 安装脚本`setup-cdc.sh`会初始化PostgreSQL模式、填充数据并配置Debezium连接器
- 提供用于填充和清除表数据的命令
- Drizzle Studio GUI可查看和编辑PostgreSQL数据以触发CDC事件
- 项目结构包含编号文件夹表示CDC流程:数据源→转换→目的地
- 提供应用开发、数据管理和Kafka主题交互的相关命令
- 包含Debezium连接器配置详情和故障排除建议
- 附Debezium、Moose、Drizzle ORM、Redpanda和ClickHouse的文档参考