rqlite 9.0: Real-Time Change Data Capture for Distributed SQLite
8 months ago
- #database
- #CDC
- #distributed-systems
- rqlite 是一个用 Go 编写的轻量级开源分布式关系型数据库，使用 SQLite 作为存储引擎，Raft 协议实现共识机制。
- rqlite 9.0 引入了变更数据捕获（CDC）功能，可将数据库变更实时推送至外部系统，使 rqlite 成为动态事件源。
- CDC 会捕获 INSERT、UPDATE 和 DELETE 操作，将变更详情（表名、行数据、新旧值）推送到用户定义的 HTTP 端点，无需轮询即可获取变更。
- 只需指定一个 webhook 端点 URL 即可启用 CDC 功能；rqlite 会在变更发生时通过 POST 请求将事件实时推送至该 URL。
- CDC 事件以 JSON 格式封装，包含元数据、Raft 索引、提交时间戳以及变更详情（操作类型、表名、行数据等）。
- 设计挑战包括：可靠捕获变更、确保至少一次投递、处理节点重启/领导权变更，以及管理事件队列。
- rqlite 使用基于磁盘的 FIFO 队列存储 CDC 事件，通过高水位标记机制最大限度减少重复投递，确保事件必达。
- 事件采用批处理机制，若投递失败会自动重试，并支持配置重试策略以应对端点响应慢或不可用的情况。
- 未来计划改进包括：支持 Apache Kafka 等流式系统，以及为 schema 变更（如 CREATE TABLE）生成事件。