apache-kafka - Kafka Jdbc Connect 时间戳+递增模式

标签 apache-kafka apache-kafka-connect

我正在使用 Kafka Jdbc Connect 时间戳+递增模式将表行同步到 Kafka。引用https://docs.confluent.io/current/connect/connect-jdbc/docs/source_config_options.html#mode

面临的挑战是表格从开始时间开始同步,因为默认的开始时间是 1970 年。有什么办法可以覆盖开始时间(即,我只想从输入给定日期的开始时间同步)。

最佳答案

您需要设置timestamp.initial到输入您想要的给定日期。需要设置为纪元格式。

timestamp+incrementing中的SQL查询模式附加:

WHERE "DBTime" < 'system high date i.e. 9999-12-12T23:59:59+00:00' AND (("DBTime" = 'timestamp.initial' AND "DBKey" > '-1') OR "DBTime" > 'timestamp.initial') ORDER BY "DBTime","DBKey" ASC

https://docs.confluent.io/kafka-connect-jdbc/current/source-connector/source_config_options.html#mode

关于apache-kafka - Kafka Jdbc Connect 时间戳+递增模式,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51627472/

相关文章:

elasticsearch - 自定义 Kafka Connect - ElasticSearch Sink Connector

c# - 如何为 IoT 中心的每个新生产者添加新的 Kafka 主题?

apache-kafka - 使用连接接收器 HDFS 连接器包含来自 Kafka 消息的 key

apache-spark - 将 Spark 结构化流输出写入 Kafka 主题

elasticsearch - 无法使用Elasticsearch接收器连接器(kafka-connect)

java - 如何使用 KafkaAdminClient (Java) 2.x 版本获取 Kafka 主题的最新偏移量/大小

java - Kafka Streams KTable 外键连接无法按预期工作

maven - 从maven部署到nexus时指定版本

apache-kafka - 从主题的两个日期时间之间获取 Kafka 消息?

apache-kafka - 生产者和消费者是否需要指定partition