apache-kafka - Kafka-对数结束偏移(LEO)与高水印(HW)之间的差异

标签 apache-kafka kafka-consumer-api kafka-producer-api

副本(LEO and HW)中的Leader Replica有什么区别?

它们会包含相同的数字吗?我可以理解硬件是last committed message offset

LEO何时更新以及如何更新?

最佳答案

高水位线表示完全复制的消息的偏移量,而如果有新添加的记录到领导者分区中但尚未复制,则日志结尾的偏移量可能会更大。

消费者只能将达到最高水位的消息消消掉。

有关更多详细信息,请参见此博客文章:http://www.confluent.io/blog/hands-free-kafka-replication-a-lesson-in-operational-simplicity/

关于apache-kafka - Kafka-对数结束偏移(LEO)与高水印(HW)之间的差异,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39203215/

相关文章:

java - 是什么决定了 Kafka 消费者偏移量?

apache-kafka - 无法暂停 Spring Kafka 容器

apache-kafka - 有没有办法在 kafka-console-producer.sh 中添加标题

java - 如何终止从我的 java 应用程序启动的 cmd 进程?

deserialization - Apache 弗林克 : Read data from Kafka as byte array

apache-kafka - TopologyTestDriver 在 KTable 聚合上发送错误消息

java - Spring Kafka 生产者不能异步工作

apache-kafka - client.dns.lookup 选项中的 “use_all_dns_ips” 和 "resolve_canonical_bootstrap_servers_only” 之间的确切区别是什么?

java - Spark 流从 Kafka 读取并在 Java 中应用 Spark SQL 聚合

mysql - Debezium 是否可以配置 table_name => kafka 主题映射?