Listen to Database Changes Through the Postgres WAL
6 months ago
- #Database
- #Postgres
- #CDC
- Postgres WAL（预写式日志）记录数据库的所有变更，是复制、备份和变更数据捕获（CDC）的核心组件。
- NOTIFY/pg_notify可用于响应数据库变更，但存在单队列瓶颈、大小限制和缺乏重试机制等局限性。
- WAL机制允许Postgres延迟数据页写入磁盘，从而提升性能并支持复制和时间点恢复等功能。
- 监听WAL变更需将Postgres配置为wal_level='logical'，并创建发布和复制槽。
- 复制槽可分为临时型（断开连接自动清理）和持久型（为离线监听者保留消息）。
- Elixir中的Postgrex.ReplicationConnection可用于监听WAL变更、解码消息并处理心跳检测。
- WAL消息包含BEGIN（事务开始）、RELATION（模式信息）、INSERT/UPDATE/DELETE（数据变更）和COMMIT（事务结束）。
- 需特别注意重复消息处理，因Postgres在崩溃后可能重发未确认的消息。
- Walex、Cainophile和Supabase Realtime等工具可基于WAL实现变更数据捕获功能。