hadoop - Kafka我的制片人作品主题是Par:0,Lead:1,Rep:1,Isr:1 BUT NOT Par:0,Lead:2,Rep:2,Isr:2

标签 hadoop apache-kafka hadoop-streaming kafka-consumer-api kafka-producer-api

我有一个带有3个kafka节点和3个zk节点的kakfa集群。

生产者在AWS机器上尝试将数据推送到我的Intranet服务器上运行的kafka集群上。

使用以下命令从控制台创建主题(JOB_AWS_14)时

Partition: 0    Leader: 1       Replicas: 1     Isr: 1

它工作正常。

但是在创建主题(JOB_AWS_8)的地方
Partition: 0    Leader: 2       Replicas: 2     Isr: 2

它不起作用。

哪些设置出错了,以及如何纠正。

请帮我。
# bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic JOB_AWS_14
Topic:JOB_AWS_14        PartitionCount:1        ReplicationFactor:1     Configs:
        Topic: JOB_AWS_14       Partition: 0    Leader: 1       Replicas: 1     Isr: 1

# bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic JOB_AWS_8
Topic:JOB_AWS_8 PartitionCount:1        ReplicationFactor:1     Configs:
        Topic: JOB_AWS_8        Partition: 0    Leader: 2       Replicas: 2     Isr: 2

最佳答案

您的生产者可以到达作为主题“JOB_AWS_14”负责人的Kafka节点1,因此您可以在进入主题“JOB_AWS_8”时产生针对该主题的消息,而领导者可以是Kafka节点2,而您的生产者可能无法到达Node- 2。确保您的生产者可以连接到节点2。

关于hadoop - Kafka我的制片人作品主题是Par:0,Lead:1,Rep:1,Isr:1 BUT NOT Par:0,Lead:2,Rep:2,Isr:2,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35332708/

相关文章:

java - 在 CentOS 6.5 32 位上安装 32 位 Java JDK

apache-kafka - 当代理检测到配额违规(Kafka 配额延迟)时如何 react ?

python - hadoop集群: map task run only on one machine and not all

hadoop - 具有本地目录输入和 HBase 输出的脚本化 MapReduce

algorithm - map-reduce如何用于倒排索引搜索?

hadoop - 在hdfs中找不到仓库

sql - 在Hive查询中为列添加前导字符和零

c++ - ld : library not found for -lrt

java - Kafka SaslAuthenticationException 在 SASL_SSL 协议(protocol)的临时基础上发生

python - Distcp 与 Hadoop 流作业