apache-kafka - Kafka 0.9+ 如何选择代理作为新消费者组的偏移量管理器(或组协调器)?

标签 apache-kafka kafka-consumer-api

Kafka 0.9+如何选择一个broker作为一个新的consumer group的offset manager或group coordinator?它是否跟踪每个代理管理的组数并尝试负载平衡,将新组分配给管理最少组数的代理?它是否考虑了每个组中的消费者数量,以便与每个代理的连接数量也保持平衡?

最佳答案

目前遵循以下规则:

  1. 通过计算确定组的目标分区:

Math.abs(groupID.hashCode()) % numPartitionsOfGroupMetadataTopic

默认情况下,numPartitionsOfGroupMetadataTopic__consumer_offsets 主题,默认分区数为 50)

  1. 找出该分区的领导代理,并将该代理指定为该组的协调器。

关于apache-kafka - Kafka 0.9+ 如何选择代理作为新消费者组的偏移量管理器(或组协调器)?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41492481/

相关文章:

java - 永远运行kafka消费者(新消费者API)

kubernetes - 部署在 Kubernetes 上的 Kafka Producer 无法生产到在本地机器上运行的 Kafka 集群

apache-spark - Spark streaming 和 kafka 缺少没有默认值的必需配置 "partition.assignment.strategy"

apache-kafka - 用于计算卡夫卡消费者总滞后时间的预定脚本

java - Kafka 0.10 Java消费者不从主题读取消息

java - 卡夫卡重复读

c++ - rdkafka 消费者查询分区大小

apache-kafka - kafka 连接失败时的 kafka-streams 警报

mysql - celeryworker 24小时空闲时数据库连接错误

apache-kafka - kafka是否有任何默认的Web UI