如何将 Kafka Connect 适配器与 Amazon MSK 配合使用?
根据 AWS 文档,它支持 Kafka 连接,但没有记录如何设置适配器和使用它。
最佳答案
AFAIK Amazon MSK 不提供托管连接器,因此您必须自己运行它们。这是通过运行 Kafka Connect 工作进程(一个 JVM)然后为其提供一个或多个连接器配置来完成的。
从 Kafka Connect worker 的角度来看,它只需要一个 Kafka 集群来连接;它是 MSK 还是内部部署都无关紧要,因为它最终“只是”底层的消费者/生产者。
您可以在此处查看更多内容,包括现场演示:https://rmoff.dev/bbuzz19-kafka-connect
有关配置 Kafka Connect 以使用云托管的 Kafka 平台(在本例中为 Confluent Cloud)的示例,请参阅 this article .
如果您对云中的托管连接器感兴趣,check out the connectors Confluent Cloud 中提供的。
免责声明:我为 Confluent 工作 :)
关于apache-kafka - Kafka Connect 与 Amazon MSK,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59194786/