我想编写一个 python 程序,它读取一个文件并将数据写入作为生产者的 Kafka。 Kafka 在 Hadoop 集群中设置,Python 将在 Hadoop 集群外运行。
是否可以从外部连接? 我需要为 python 安装 Kafka 库吗?我需要如何安装?
最佳答案
了解有关 Kafka 的更多信息的最简单方法是使用 http://landoop.com/docs/lenses/developers
您将需要运行 1 个 docker - 在本地启动所有内容,然后开发一个 Python 应用程序,使用适当的 Kafka 库通过 Kafka API 连接到 Kafka 并向其生成消息
一旦您构建了您的应用程序 - 然后您可以将其打包并针对您的 Hadoop 的 Kafka 代理运行它
关于python - kafka - python 程序可以连接到 hadoop 集群外的 Kafka 吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47850387/