apache-kafka - Kafka Connect与接收器流

Closed. This question is opinion-based。它当前不接受答案。

想要改善这个问题吗？更新问题，以便editing this post用事实和引用来回答。

2年前关闭。

Improve this question

我试图了解Connect向您购买Streams不会给您带来的好处。我们在应用程序的一部分中想要消费一个主题并写入mariadb。

我可以用一个简单的处理器来完成。阅读记录，存储在状态存储中，然后批量插入mariadb。

为什么这是个坏主意？ JDBC Sink连接器能给您带来什么？

最佳答案

好问题!所有这些都是使用正确的工具完成工作的。 Kafka Connect的特定用途是源系统和Kafka之间的流集成，或者从Kafka到其他系统(包括RDBMS)的流集成。

Kafka Connect给您带来什么？

可扩展性；您可以部署多个工作人员，Kafka Connect将在他们之间分配任务

弹性；如果一个节点出现故障，Kafka Connect将在另一个worker

上重新启动工作

易于使用；连接器存在于多种技术中，因此实现连接器通常仅意味着几行JSON

模式管理；支持JSON中的架构，与用于Avro的架构注册表完全集成，来自Protobuf社区的可插拔转换器

带有单个消息转换的

内联转换

所有集成任务的统一和集中管理和配置

这并不是说您无法在Kafka Streams中执行此操作，但是当Kafka Connect为您提供开箱即用的功能时，您最终将不得不自己编写很多代码。您可以以相同的方式使用Consumer API和大量定制代码来执行Kafka Streams API为您提供的流处理，类似地，您可以使用Kafka Streams将数据从Kafka主题获取到数据库中，但是为什么呢？

如果需要在将数据发送到接收器之前进行转换，则建议的模式是将转换与发送分离。在Kafka Streams(或KSQL)中转换数据，并将其写回到另一个Kafka主题。使用Kafka Connect收听该新主题，并将转换后的消息写入目标接收器。

关于apache-kafka - Kafka Connect与接收器流，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/54257600/

上一篇：scala - 如何在不产生.rdd成本的情况下检查Spark DataFrame的分区数

下一篇：angularjs - 嵌入指令和表格

相关文章：

apache-spark - 流作业中窗口函数的性能不佳

apache-kafka - Kafka 在有状态处理中验证消息

apache-kafka - 卡夫卡流: how to get offset limits prior to application for reprocessing and how to stop it

apache-kafka - Kafka Streams - 内部主题的 ACL

apache-kafka - Kafka Connect 中的连接器和任务是什么关系？

java - 读取并处理来自 Kafka 的一批消息

cluster-computing - 将 Kafka 与 zookeeper 一起集群

java - 如何修复 "incompatible types: org.apache.beam.sdk.options.ValueProvider<java.lang.String> cannot be converted to java.lang.String"

apache-kafka - Kafka主题中如何写KTable？就像我们在 KStreams 中使用 "to()"如何为 KTable 那样做？

elasticsearch - 寻找一个kafka连接器以将数据上传到elasticsearch