在我使用 golang 客户端提交偏移量后立即。 https://github.com/Shopify/sarama
./kafka-consumer-offset-checker.sh --zookeeper=localhost:2181 --topic=my-replicated-topic --group=ib --broker-info
Group Topic Pid Offset logSize Lag Owner
ib my-replicated-topic 0 12 12 0 none
BROKER INFO
1 -> localhost:9093
但是,几分钟后,我运行了相同的检查器命令。
./kafka-consumer-offset-checker.sh --zookeeper=localhost:2181 --topic=my-replicated-topic --group=ib --broker-info
Exiting due to: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /consumers/ib/offsets/my-replicated-topic/0.
然后我检查了 zookeeper,该节点在任何时候都不存在,即使检查器正确列出了偏移量。
sarama 提交:23d523386ce0c886e56c9faf1b9c78b07e5b8c90 卡夫卡 0.8.2.1 golang 1.3
kafka 服务器配置:
broker.id=1
port=9093
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs-1
num.partitions=1
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
log.cleaner.enable=false
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=6000
在我看来,消费者群体已经过期了。如何让消费组持久化?
最佳答案
Sarama 不与 zookeeper 对话,我应该使用高级消费者组库 反而。
关于go - 卡夫卡消费者组过期了吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30342295/