docker - 将 KafkaConnect 添加到现有 Ambari 服务

标签 docker apache-kafka apache-kafka-connect

我有一个集群设置并由 Ambari 管理,但是我想添加 KafkaConnect docker 并利用已经通过 Ambari 设置的 Kafka 和 ZooKeeper。我只能找到使用 Zookeper 和 kafka 部署 kafka-connect 的 docker 镜像,但是我不需要在 docker 上使用这些镜像。

我应该寻找什么来找到一个可以让我使用现有的 kafka 和 Zookeeper 服务的 docker 镜像?

最佳答案

假设 Kafka 0.10 由 Ambari 安装(由 Hortonworks HDP 或 HDF 完成),那么 Kafka Connect 已包含在 Kafka 安装中。

Ambari 目前不提供任何管理 Docker 镜像/服务或 Kafka Connect API 的机制。

Flume、Spark 和 Nifi 是 Hortonworks 支持的 Ambari 管理方式,可将 Kafka 数据导入 Hadoop。

如果您想要 Kafka Connect UI,您的选择包括 Landoop(免费)或 Confluence Control Center(授权)

例如,您可以独立使用 Docker Swarm + Portainer 等服务来管理多台机器上的 Docker 服务

关于docker - 将 KafkaConnect 添加到现有 Ambari 服务,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50558513/

相关文章:

python - kafka-python ssl 支持 python < v2.7.9(无属性 'SSLContext')

apache-kafka - 删除Kafka 0.8.1.1中的主题

apache-kafka-connect - Kafka 连接 CockroachDB

apache-kafka - Kafka 连接号码类型字段

docker - 同步pod出错,无法进行Registry.access.redhat.com(Kubernetes)

apache-kafka - Kafka 重新分配 __consumer_offsets 不正确?

python - 超正方体未找到错误 : two docker container python app (docker-compose)

apache-kafka - Kafka Connect集群设置或启动Connect Worker

amazon-web-services - 如何在Gitlab CI/CD中启动Docker容器

Docker:在 docker 中运行两个 Web 应用程序时面临的问题