我正在使用 MirrorMaker2 进行 DR。
Kafka 2.7 应该支持
automated consumer offset sync
这是我正在使用的 yaml 文件(我使用 strimzi 来创建它)
所有源集群主题都复制到目标集群中。
还有 ...checkpoint.internal 主题是在包含同步的所有源集群偏移量的目标集群中创建的,但我没有看到这些偏移量被转换为目标集群 _consumer_offsets 主题,这意味着当我将在目标集群中启动消费者(同一消费者组)时,它将从头开始读取消息。
我的期望是,在允许自动消费者偏移量同步所有来自源集群的消费者偏移量后,翻译并存储在目标集群的 _consumer_offsets 主题中。
有人可以澄清我的期望是否正确,如果不正确,它应该如何工作。
最佳答案
sync.group.offsets.enabled
设置适用于 MirrorCheckpointConnector
.
我不完全确定 Strimzi 如何运行 MirrorMaker 2,但我认为您需要将其设置为:
checkpointConnector:
config:
checkpoints.topic.replication.factor: 1
sync.group.offsets.enabled: "true"
关于apache-kafka - Kafka MirrorMaker2 自动消费者偏移同步,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/65925842/