database - 可能没有 CDC 的 Kafka 流式传输?

标签 database apache-kafka apache-kafka-connect cdc

我正在处理一个项目。我很好奇是否可以在没有 CDC 的情况下在数据库上实现 Kafka。 (CDC 并没有一直打开它) 在网上找不到任何讨论其他选项的资源。是否可以将数据直接输入kafka?例如编写 C# 代码读取数据库,然后插入充当连接器的 Kafka?

最佳答案

看看这个,它解释了一切:-)

https://www.confluent.io/kafka-summit-ny19/no-more-silos-integrating-db-into-apache-kafka

tl;dr:您可以编写一些代码,但问题是您确实应该编写一些代码:)几乎可以肯定不是。您可以使用“适当的”CDC 从事务日志中获取事件,或者您可以将“基于查询的 CDC”与 JDBC 源连接器一起使用以仅轮询新记录。上面的谈话中讨论了每种方法的优缺点。

关于database - 可能没有 CDC 的 Kafka 流式传输?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56245778/

相关文章:

mysql - 在 mysql 中使用多个 AND 运算符过滤数据

apache-spark - 开发人员之间是否可以共享/访问hdfs?

docker - 如何在创建工作人员时创建Kafka Connect连接器?

MySQL快速检索每组中的最后一条记录

mysql - 是否可以将两个 MySQL 数据库合并为一个?

java - 卡夫卡点对点

apache-kafka - Kafka Stream 抑制 session 窗口聚合

azure - Kafka 连接器可以与事件中心代理一起使用吗?

javascript - Kafka.JS 拒绝连接 <<[BrokerPool] 无法连接到种子代理,正在尝试列表中的另一个代理>>

MySQL - 按多个类别运行总计