apache-kafka - Kafka中broker.id的重要性?

标签 apache-kafka apache-zookeeper

我们在kafka属性文件中有broker.id属性。

broker.id 的重要性是什么?如果我们在不同虚拟机上运行的所有 kafka 实例上为broker.id 分配相同的整数会怎样。

最佳答案

来自 Apache Kafka 文档:

The broker.id property is the unique and permanent name of each node in the cluster.

代理 ID 必须是唯一的,因为该值用于核心 Kafka 算法(领导者/追随者)。

另一方面,每个 Kafka 代理都通过 Zookeeper 使用该broker.id 值来注册自己。这是该值必须唯一的另一个原因:否则您会得到类似的内容

java.lang.RuntimeException: A broker is already registered on the path /brokers/ids/0. This probably indicates that you either have configured a brokerid that is already in use, or else you have shutdown this broker and restarted it faster than the zookeeper timeout so it appears to be re-registering.

关于apache-kafka - Kafka中broker.id的重要性?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52812066/

相关文章:

java - 没有消费者连接时,Kafka 代理可以保留消息吗?

java - Zookeeper不会清理已删除的节点

java - zookeeper 作为服务注册中心

kubernetes - 在这个例子中,如何捕获zookeeper-service的IP地址,并将其正确设置到需要它的kafka-broker中?

hadoop - 根据 Kafka 的消息数据写入自定义 HDFS 目录 -> Flume -> hdfs 摄取

apache-kafka - 具有仲裁者/证人/观察者的多 DC 中的 Kafka 领导者选举

java - EmbeddedKafka在后续测试中延迟后向消费者发送消息

python - Apache Beam Python SDK ReadFromKafka 不接收数据

具有偏移量管理的 Python Kafka 消费者

java - 如何在同一个L2网络上创建多个Kafka集群?