apache-kafka - Kafka如何从__consumer_offsets主题阅读

Question

我正在尝试找出可以抵消我目前的高级消费者在解决的问题。我使用的是Kafka 0.8.2.1，在Kafka的server.properties中未设置“ offset.storage”，我认为这意味着偏移量存储在Kafka中。 （通过检查Zk shell中的以下路径，我还验证了Zookeeper中没有存储偏移量：/consumers/consumer_group_name/offsets/topic_name/partition_number）

我试着听__consumer_offsets主题，以了解哪个使用者可以节省偏移量的值，但是没有用...

我尝试了以下方法：

为控制台使用者创建了一个配置文件，如下所示：

=> more kafka_offset_consumer.config 

 exclude.internal.topics=false

并尝试了两个版本的控制台使用者脚本：

#1:
bin/kafka-console-consumer.sh --consumer.config kafka_offset_consumer.config --topic __consumer_offsets --zookeeper localhost:2181

#2
./bin/kafka-simple-consumer-shell.sh --topic __consumer_offsets --partition 0 --broker-list localhost:9092 --formatter "kafka.server.OffsetManager\$OffsetsMessageFormatter" --consumer.config kafka_offset_consumer.config

两者都不起作用-即使消费者正在积极使用/节省胶印，它也只是坐在那里而不打印任何内容。

我是否缺少其他配置/属性？

谢谢！

码头

Answer 1

当我尝试同时使用__consumer_offsets主题时，遇到了这个问题。
我设法弄清楚了不同的Kafka版本，并认为我会分享发现的内容

对于Kafka 0.8.2.x

注意：这使用Zookeeper连接

#Create consumer config
echo "exclude.internal.topics=false" > /tmp/consumer.config
#Consume all offsets
./kafka-console-consumer.sh --consumer.config /tmp/consumer.config \
--formatter "kafka.server.OffsetManager\$OffsetsMessageFormatter" \
--zookeeper localhost:2181 --topic __consumer_offsets --from-beginning

对于Kafka 0.9.x.x和0.10.x.x

#Create consumer config
echo "exclude.internal.topics=false" > /tmp/consumer.config
#Consume all offsets
./kafka-console-consumer.sh --new-consumer --consumer.config /tmp/consumer.config \
--formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter" \
--bootstrap-server localhost:9092 --topic __consumer_offsets --from-beginning

对于0.11.x.x-2.x

#Create consumer config
echo "exclude.internal.topics=false" > /tmp/consumer.config
#Consume all offsets
./kafka-console-consumer.sh --consumer.config /tmp/consumer.config \
--formatter "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter" \
--bootstrap-server localhost:9092 --topic __consumer_offsets --from-beginning