我是 Hadoop 和 Kafka 的新手。我继承了在桌面 Windows 机器上运行的 Kafka 消费者的代码，接收远程集群上可用的新 XML 数据的 HDFS 位置，下载数据进行处理，并将结果写回 HDFS 集群。
在我看来，消费者应该在集群上运行，因为那是数据所在的地方，但我看到的所有示例 Kafka 消费者代码都表明生产者/消费者在常规桌面计算机上运行。 Kafka 消费者的典型目标平台是什么？
最佳答案
生产者和消费者可以在任何地方运行。您看到的示例暗示桌面执行，因为该代码比在 Storm 拓扑中运行的代码简单得多，并且示例往往过于简单。桌面环境的唯一原因是存在应用程序的 UI。
如果应用程序是 headless 的，那么将执行移动到尽可能靠近数据(包括 Kafka 和 HDFS)确实很有意义。
关于java - 一个处理HDFS数据的Kafka消费者应该跑到哪里去？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/35784005/