java - Kafka - 忽略获取的记录

标签 java apache-kafka apache-flink kafka-consumer-api

我的 Kafka 消费者正在读取来自名为 testdata 的 Kafka 主题的消息。消费者是 Apache Flink 源连接器。

当我向主题发送新消息时,消费者不会获取该消息。在调试日志中我可以看到以下消息:

Ignoring fetched records for testdata at offset 0 since the current position is 1

看来我的消费者总是有错误的偏移量?我可以做什么来获取该主题的消息?

更新:

我尝试了很多带有偏移设置的配置。我还清除了 Kafka 和 Zookeeper 的所有带有偏移量信息的 tmp 文件。但一切都没有改变。当前位置始终比偏移量前面一个数字。

调试日志行到底意味着什么?

Ignoring fetched records for testdata at offset 141 since the current position is 142

最佳答案

请设置enable.auto.commit=false

关于java - Kafka - 忽略获取的记录,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47091758/

相关文章:

java - 如何在JUnit 5中实现JUnit 4参数化测试?

java - 听一个文件夹的变化java

java - Byte[] 到 InputStream 或 OutputStream

apache-spark - 如何将多个 ML 管道(模型)应用于同一个 Spark 流

python - PyKafka 元数据以字节而不是字符串为单位

java - 有效地制作图书馆项目的副本

hadoop - 带有 avro 记录的 Kafka

apache-spark - DMP系统的技术堆栈选择

apache-flink - 在 Flink 集群中创造大量工作是一个好的实践吗?

apache-flink - 将作业 jar 添加到 $FLINK_HOME/lib 时获取以下类转换异常