apache-kafka-connect - Kafka 源连接器获取过时的偏移值

Question

我有一个 SourceTask，它有一个简单的 poll 方法(完成得相当快)。我发现从 context.offsetStorageReader 获取的 offsets 值大部分是陈旧的，这意味着与之前 poll() 方法返回的 offsets 值不匹配。

同时，我可以从日志中观察到，只有在发生“commitOffsets success”时，偏移值才会更新为“fresh”。

我的问题是:这是故意设计的吗？我应该减少“OFFSET_COMMIT_INTERVAL_MS_CONFIG”值以确保偏移量的提交速度快于执行的 SourceTask.poll() 方法吗？

Answer 1

org.apache.kafka.connect.runtime.OffsetStorageWriter 类的注释表示“偏移数据只能在任务启动或重新配置期间读取...”，而不是在每次执行 poll() 方法时读取。