apache-kafka - kafka 连接 mongo on kafka MSK

标签 apache-kafka apache-kafka-connect amazon-msk

我在 AWS 中使用 Kafka MSK。因此,我们没有像 Confluence 那样将 native kafka 连接到所有必需的连接器。 实际上,我使用 kakfa mongo 连接器,我想找到一种方法将 kafka mongo 连接器 jar 推送到 kafka MSK 集群的实例上。 jar 将被推送到的路径是所用连接器属性中定义的plugins.path。

请问有什么办法可以做到吗?

最佳答案

MSK 不会为您提供托管的 Kafka Connect 工作线程。您需要自己配置和运行它,例如在 EC2 上。然后,这项工作将连接到您的 Kafka 集群(在本例中为 MSK)

需要明确的是:MSK 只是托管的 Kafka 代理(和 Zookeeper)。它不包括 Kafka Connect,这是运行连接器所需的。

关于apache-kafka - kafka 连接 mongo on kafka MSK,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59881287/

相关文章:

Node.js kafka-node 分区器类型用法

apache-kafka - Kafka Stream 处理期间的外部系统查询

twitter - Twitter 流媒体的 Kafka Consumer 弃用错误

apache-kafka - Kafka Connect 接收器任务忽略容差限制

hadoop - 为Kafka主题创建Hive Table Producer

apache-spark - 什么时候 Kafka 连接器比 Spark 流解决方案更受欢迎?

python - 可以与 Zookeeper 交谈,但不能与消息代理交谈

java - 如何查找Kafka主题中第一条未删除的消息