Data liberation: Apache Kafka's native cluster mirroring
2 days ago
- 集群镜像将跨集群复制直接嵌入Kafka broker中，消除了MirrorMaker 2等外部工具，降低了运维复杂性。
- 它以逐字节方式复制数据，无需解压或重新压缩，跨集群保留精确的偏移量，实现无缝故障转移。
- 该架构包括MirrorMetadataManager（协调器）、ClusterMirrorCoordinator（状态持久化）和MirrorFetcherThread（使用标准fetch协议获取数据）。
- 镜像分区生命周期遵循状态机，包含以下阶段：LOG_ALIGNMENT、EPOCH_FENCING、MIRRORING、ULE_RECOVERY、PAUSING/PAUSED、STOPPING/STOPPED和FAILED。
- 通过日志收敛（epoch对齐和截断）和事务安全（进行中事务的ABORT标记以及停止期间重置PID）来维护数据一致性。
- 灾难恢复使用单命令故障转移和故障恢复，LME记录支持增量重新复制并保留消费者组偏移量。
- 集群迁移支持低至Kafka 2.1的源，允许在不进行中间版本升级的情况下干净地升级到现代KRaft集群。