c# - 如何从 Confluent kafka C# 库中的 Kafka 主题获取最新偏移量?

标签 c# apache-kafka kafka-consumer-api confluent-platform

我正在使用 Confluent kafka C# 客户端。怎么获取topic消耗的最新offset?

最佳答案

除了前面的答案,你还可以使用

List<TopicPartitionOffsetError> Position(IEnumerable<TopicPartition> partitions)

它将返回从 librdkafka 为给定主题/分区轮询的最后一个偏移量

您有一个类似的Committed 方法,用于获取来自消费者的最新提交的偏移量


还可以查询最新的已知偏移量

WatermarkOffsets QueryWatermarkOffsets(TopicPartition topicPartition, TimeSpan timeout)

它会向kafka集群发送请求。调用阻塞,设置适当的超时。目前,您不能一次在多个分区上发送请求。 您可以使用它来获取最后已知的偏移量,或者计算滞后

还有

WatermarkOffsets GetWatermarkOffsets(TopicPartition topicPartition)

这将查询 librdkafka 中的内部状态,并可能返回 INVALID_OFFSET (-1001)。您可以使用它来检测由于处理数据而导致的一些滞后。 (这种方法的位置和结果的区别)

关于c# - 如何从 Confluent kafka C# 库中的 Kafka 主题获取最新偏移量?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44983471/

相关文章:

c# - 在主线程中设置线程本地值并在另一个线程中获取

c# - 读取 xml 并将其存储在字符串中

具有 MySQL 数据库和部署的 C# 应用程序

java - 有没有办法从Java API中的特定偏移量开始消费kafka主题?

apache-kafka - 按键加入多个Kafka主题

c# - 是否可以在 .exe 中嵌入 bat 文件并将其与 Process 类一起使用?

java - Spring Boot Kafka 消费者多种类型崩溃

apache-kafka - CloudFormation - 如何将 bootsrap 参数添加到 Ksql Server

apache-kafka - AWS DMS Kafka 目标端点测试失败,显示 "application error 1020912: failed to connect to database"

apache-kafka - 合并kafka流中的记录