apache-kafka - Kafka Connect 与 Amazon MSK

标签 apache-kafka apache-kafka-connect amazon-msk

如何将 Kafka Connect 适配器与 Amazon MSK 配合使用?
根据 AWS 文档,它支持 Kafka 连接,但没有记录如何设置适配器和使用它。

最佳答案

AFAIK Amazon MSK 不提供托管连接器,因此您必须自己运行它们。这是通过运行 Kafka Connect 工作进程(一个 JVM)然后为其提供一个或多个连接器配置来完成的。
从 Kafka Connect worker 的角度来看,它只需要一个 Kafka 集群来连接;它是 MSK 还是内部部署都无关紧要,因为它最终“只是”底层的消费者/生产者。
您可以在此处查看更多内容,包括现场演示:https://rmoff.dev/bbuzz19-kafka-connect
有关配置 Kafka Connect 以使用云托管的 Kafka 平台(在本例中为 Confluent Cloud)的示例,请参阅 this article .

如果您对云中的托管连接器感兴趣,check out the connectors Confluent Cloud 中提供的。
免责声明:我为 Confluent 工作 :)

关于apache-kafka - Kafka Connect 与 Amazon MSK,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59194786/

相关文章:

aws-cloudformation - 如何使用 Cloud Formation 创建 MSK 集群配置?

apache-kafka - kafka 连接 mongo on kafka MSK

java - Kafka 如何存储每个主题的偏移量?

apache-kafka - 卡夫卡连接 : "Task already exists in this worker"

apache-kafka - 如何修改kafka连接器?

amazon-s3 - 使用Kafka Connect从Kafka写入S3有什么好处?

apache-spark - Spark 流: ERROR StreamingContext: failed to construct kafka consumer

apache-kafka - 如何从事件启动微服务

jdbc - 如何为 kafka 连接源连接器使用时间戳或时间戳+递增模式?