apache-kafka - 如何在消费者组kafka中动态添加消费者

标签 apache-kafka kafka-producer-api

我应该如何知道何时必须扩展消费者群体中的消费者。当有一个快速的生产者时,消费者扩大规模的触发因素是什么?

最佳答案

一种直接的方法是获得消费者滞后(这可以计算为 promise 偏移量和开始偏移量之间的差异),如果在最后 n 次计算的滞后正在增加,您可以扩大规模,反之亦然。您可能必须考虑一些边缘情况,例如,如果消费者数量下降并且延迟会增加并且自动缩放功能可能会产生更多线程/机器)。

关于apache-kafka - 如何在消费者组kafka中动态添加消费者,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60550839/

相关文章:

apache-kafka - 如何设置 Apache Kafka 消费者通过互联网获取数据?

jdbc - Kafka Connect、JDBC 连接器明文密码。如何避免?

java - 如何在由KafkaTemplate创建的事务中发送Kafka偏移量?

apache-kafka - 消费者 'group_name' 组永远重新平衡

java - 消费者失败时的 Kafka 行为

docker - 在 docker 容器中找不到“make”命令

java - KafkaProducer不发送记录

java - Kafka 事务生产者——尽管中止,read_committed 仍显示记录

apache-kafka - kafka 如何 ack 批量 AsyncProducer

apache-kafka - Kafka 代理是否为每条消息或每个消息批处理发送 ACK?