apache-kafka - 为什么 kafka 中的 __consumer_offsets 主题没有传播到所有经纪人?

标签 apache-kafka

我有一个 3 zk 节点集群。和 7 kafka 经纪人 节点。

因此,当我创建任何主题时,我可以使用命令行参数设置副本因子和分区数。

并且这些分区分布到所有 7 个代理。但是有一个主题,即 __consumer_offsets ,它是自动创建的,并且它只传播到 1 个代理(id=0)和 1 个复制。

我知道我可以更改配置文件中复制因子的默认编号。

但是,此主题仅复制到一个代理。那么可以更改哪些参数以将分区复制到所有代理。

最佳答案

这对我来说真的很奇怪。我部署了 3 个 Kafka 代理集群和我的 __consumer_offsets主题有 50 个分区(默认)分布在 3 个代理上,并有 3 个(默认)作为副本。
当您从单个 Kafka 代理开始,创建用于阅读主题的消费者以便 __consumer_offsets 时,您所描述的可能会发生。是自动创建的,它将位于代理 0(唯一的)上。之后,您添加新的 Kafka 代理:无需执行任何操作 __consumer_offsets仍将留在经纪人 0 上;如上所述,您需要使用 Kafka 手动重新分配分区。

关于apache-kafka - 为什么 kafka 中的 __consumer_offsets 主题没有传播到所有经纪人?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50232352/

相关文章:

apache-kafka - 高效的 MQTT 代理到 Kafka 代理桥接

c++ - 大小为 8 的读取无效,但没有内存泄漏

apache-kafka - 添加额外的 Schema Registry 层会影响好处吗?

apache-kafka - 卡夫卡 : How to get last modified time for a topic i. e.添加到主题任何分区的最后一条消息

apache-kafka - 使用 Kafka Streams 在输出中设置时间戳

apache-kafka - 卡夫卡生产者 : Got error produce response with correlation NETWORK_EXCEPTION

kubernetes - Prometheus 没有发现我的 Pod 监视器

java - 在运行时将动态值传递给 kafka 消费者主题以实现消息驱动的 channel 适配器

elasticsearch - Logstash 和卡夫卡

apache-kafka - kappa-architecture 和 lambda-architecture 有什么区别