我正在处理一个项目。我很好奇是否可以在没有 CDC 的情况下在数据库上实现 Kafka。 (CDC 并没有一直打开它) 在网上找不到任何讨论其他选项的资源。是否可以将数据直接输入kafka?例如编写 C# 代码读取数据库,然后插入充当连接器的 Kafka?
最佳答案
看看这个,它解释了一切:-)
https://www.confluent.io/kafka-summit-ny19/no-more-silos-integrating-db-into-apache-kafka
tl;dr:您可以编写一些代码,但问题是您确实应该编写一些代码:)几乎可以肯定不是。您可以使用“适当的”CDC 从事务日志中获取事件,或者您可以将“基于查询的 CDC”与 JDBC 源连接器一起使用以仅轮询新记录。上面的谈话中讨论了每种方法的优缺点。
关于database - 可能没有 CDC 的 Kafka 流式传输?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56245778/