[o.a.k.c.c.i.ConsumerCoordinator] [Auto offset commit failed for group consumer-group: Commit offsets failed with retriable exception. You should retry committing offsets.] []
为什么kafka consumer会出现这个错误?这是什么意思?
我使用的消费者属性是:
fetch.min.bytes:1
enable.auto.commit:true
auto.offset.reset:latest
auto.commit.interval.ms:5000
request.timeout.ms:300000
session.timeout.ms:20000
max.poll.interval.ms:600000
max.poll.records:500
max.partition.fetch.bytes:10485760
出现该错误的原因是什么?我猜由于这个错误,消费者现在正在做重复的工作(再次轮询相同的消息)。
我既没有使用 consumer.commitAsync()
也没有使用 consumer.commitSync()
最佳答案
如果消费者捕获到 RetriableException
的实例,则会给出此错误。
原因可能多种多样:
- 如果协调器仍在加载组元数据
- 如果尚未创建组元数据主题
- 如果发生网络或磁盘损坏,或者在处理请求时发生其他磁盘相关或网络相关的 IOException
- 如果服务器在请求完成之前断开连接
- 如果客户的元数据已过时
- 如果给定分区当前没有可用的领导者
- 如果没有经纪人可以完成请求
正如您从上面的列表中看到的,所有这些错误可能是暂时的问题,这就是为什么建议重试请求。
关于java - kafka : Commit offsets failed with retriable exception. 你应该重试提交偏移量,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49578138/