apache-kafka - Kafka MirrorMaker2 自动消费者偏移同步

标签 apache-kafka apache-kafka-mirrormaker

我正在使用 MirrorMaker2 进行 DR。
Kafka 2.7 应该支持
automated consumer offset sync
这是我正在使用的 yaml 文件(我使用 strimzi 来创建它)
Code
所有源集群主题都复制到目标集群中。
还有 ...checkpoint.internal 主题是在包含同步的所有源集群偏移量的目标集群中创建的,但我没有看到这些偏移量被转换为目标集群 _consumer_offsets 主题,这意味着当我将在目标集群中启动消费者(同一消费者组)时,它将从头开始读取消息。
我的期望是,在允许自动消费者偏移量同步所有来自源集群的消费者偏移量后,翻译并存储在目标集群的 _consumer_offsets 主题中。
有人可以澄清我的期望是否正确,如果不正确,它应该如何工作。

最佳答案

sync.group.offsets.enabled设置适用于 MirrorCheckpointConnector .
我不完全确定 Strimzi 如何运行 MirrorMaker 2,但我认为您需要将其设置为:

checkpointConnector:
  config:
    checkpoints.topic.replication.factor: 1
    sync.group.offsets.enabled: "true"

关于apache-kafka - Kafka MirrorMaker2 自动消费者偏移同步,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/65925842/

相关文章:

apache-kafka - 如果 leader 没有死但是在 Kafka 中收不到消息会怎样?单点故障?

java - 使用 Kafka Streams 按 ID 和时间连接日志 - 无法刷新状态存储

apache-kafka - 镜像重新分区主题的大小不断增加

apache-kafka - Kafka MirrorMaker2 - 不镜像消费者组偏移量

apache-kafka - Kafka MirrorMaker2 主题 - 复制因子

apache-kafka - Kafka 镜像集群中如何维护客户偏移量?

c++ - 大小为 8 的读取无效,但没有内存泄漏

apache-kafka - 使用 Apache Kafka 作为键/值存储有什么副作用?

spring-boot - spring-kafka KafkaListener 运行时自动启动行为

apache-kafka - Kafka Mirror Maker 2 偏移复制不工作