python - kafka - python 程序可以连接到 hadoop 集群外的 Kafka 吗?

标签 python apache-kafka

我想编写一个 python 程序,它读取一个文件并将数据写入作为生产者的 Kafka。 Kafka 在 Hadoop 集群中设置,Python 将在 Hadoop 集群外运行。

是否可以从外部连接? 我需要为 python 安装 Kafka 库吗?我需要如何安装?

最佳答案

了解有关 Kafka 的更多信息的最简单方法是使用 http://landoop.com/docs/lenses/developers

您将需要运行 1 个 docker - 在本地启动所有内容,然后开发一个 Python 应用程序,使用适当的 Kafka 库通过 Kafka API 连接到 Kafka 并向其生成消息

一旦您构建了您的应用程序 - 然后您可以将其打包并针对您的 Hadoop 的 Kafka 代理运行它

关于python - kafka - python 程序可以连接到 hadoop 集群外的 Kafka 吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47850387/

相关文章:

azure - 重启后Kafka主题被删除

kubernetes - 代理可能不可用错误 Kafka 架构注册表

python - 将 xml 转换为 python 字典

python - 从 Python 的子类中删除属性

java - KafkaConsumer Java API subscribe() 与 assign()

go - Confluent Kafka Golang 客户端生产者 "Broker: Not enough in-sync replicas"

docker - 如何在docker kafka服务中确保唯一的经纪人ID

Python,引用与运行文件同目录下的一个文件

python - 如何从基于颜色的分组条中禁用 plotly express?

python - Pandas :返回满足特定条件的列的列标题