go - 卡夫卡消费者组过期了吗?

标签 go apache-kafka

在我使用 golang 客户端提交偏移量后立即。 https://github.com/Shopify/sarama

./kafka-consumer-offset-checker.sh --zookeeper=localhost:2181 --topic=my-replicated-topic --group=ib --broker-info 

Group           Topic                          Pid Offset          logSize         Lag             Owner

ib              my-replicated-topic            0   12              12              0               none

BROKER INFO

1 -> localhost:9093

但是,几分钟后,我运行了相同的检查器命令。

./kafka-consumer-offset-checker.sh --zookeeper=localhost:2181 --topic=my-replicated-topic --group=ib --broker-info 


Exiting due to: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /consumers/ib/offsets/my-replicated-topic/0.

然后我检查了 zookeeper,该节点在任何时候都不存在,即使检查器正确列出了偏移量。

sarama 提交:23d523386ce0c886e56c9faf1b9c78b07e5b8c90 卡夫卡 0.8.2.1 golang 1.3

kafka 服务器配置:

broker.id=1
port=9093
num.network.threads=3
 num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs-1
num.partitions=1
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
log.cleaner.enable=false
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=6000

在我看来,消费者群体已经过期了。如何让消费组持久化?

最佳答案

Sarama 不与 zookeeper 对话,我应该使用高级消费者组库 反而。

https://github.com/Shopify/sarama/issues/452

关于go - 卡夫卡消费者组过期了吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30342295/

相关文章:

Emacs 在 go-mode 下找不到 gofmt

apache-kafka - Spring Kafka 消费者 - 云端并发监听器与非并发监听器

java - Spring Cloud Stream Kafka > 使用来自 Confluent REST 代理的 Avro 消息

apache-kafka - Kafka-connect sink任务忽略文件偏移存储属性

node.js - NestJs EventBus 在 EventHandler 复制事件

c - 如何获取 Kafka 主题分区的最后偏移量?

github 上的 GOanda 用于 GoLang 中的 Oanda API Rest

go - 构建 go 项目时忽略 ldflags

go - 尝试通过 WaitGroup 了解 go func

go - 传递实现带有指针接收器的接口(interface)的对象