apache-spark - kafka kafka-consumer-groups.sh --describe 不返回消费者组的输出

Question

卡夫卡版本1.1

--list可以获取消费者组

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list --command-config config/client_security.properties
Note: This will not show information about old Zookeeper-based consumers.

spark-kafka-source-fd469ba1-6ffa-43cb-8919-06c45ae56fd6--724816166-driver-0
console-consumer-23379
console-consumer-44846
console-consumer-75221
console-consumer-57833
yizhisec-traffic
console-consumer-91940
group1

无法获取任何信息。 该消费者组id由spark生成。

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group spark-kafka-source-fd469ba1-6ffa-43cb-8919-06c45ae56fd6--724816166-driver-0  --command-config config/client_security.properties

什么也没得到

Note: This will not show information about old Zookeeper-based consumers.

但是测试其他消费者的工作情况。

更新更多详细信息

---

我使用结构化流媒体kafka

当我使用zookeeper查询时得到错误

bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --describe --group spark-kafka-source-fd469ba1-6ffa-43cb-8919-06c45ae56fd6--724816166-driver-0  --command-config config/client_security.properties

出现错误

Note: This will only show information about consumers that use ZooKeeper (not those using the Java consumer API).
Error: The consumer group 'spark-kafka-source-fd469ba1-6ffa-43cb-8919-06c45ae56fd6--724816166-driver-0' does not exist.

Answer 1

kafka-consumer-groups \
  --bootstrap-server localhost:9092 \
  --describe \
  --group your_consumer_group_name

如果消费者组中的消费者没有提交任何偏移量，则不会返回任何输出。

---

如果输出

bin/kafka-consumer-groups.sh \
  --bootstrap-server localhost:9092 \
  --describe \
  --group spark-kafka-source-fd469ba1-6ffa-43cb-8919-06c45ae56fd6--724816166-driver-0 \
  --command-config config/client_security.properties

和

bin/kafka-consumer-groups.sh \
  --bootstrap-server localhost:9092 \
  --new-consumer
  --describe \
  --group spark-kafka-source-fd469ba1-6ffa-43cb-8919-06c45ae56fd6--724816166-driver-0 \
  --command-config config/client_security.properties

匹配并且消费者组出现在两个消费者组列表输出中，我的猜测是消费者组内的消费者spark-kafka-source-fd469ba1-6ffa-43cb-8919-06c45ae56fd6--724816166-driver- 0 尚未提交任何偏移量，这就是为什么使用 describe 命令没有显示任何信息。

---

确保 spark-kafka-source-fd469ba1-6ffa-43cb-8919-06c45ae56fd6--724816166-driver-0 内的消费者成功提交其偏移量(手动或自动)。