我想在我们的 HortonWorks Hadoop 集群上安装最新版本的 Kafka,该集群包含 2 个主节点、2 个边缘节点和 8 个数据节点。计划是在 8 个数据节点盒中的 2 个上安装 Kafka。 Kafka 每天需要处理多达几百万个事件,可能需要处理几批大小为 0.5Gb-1.2Gb 的文件副本。
问题:为了避免 kafka(或数据节点)潜在的性能下降,我需要考虑对数据节点或 kafka 的任何特殊配置吗?
Kafka 通常是如何部署的(在专用盒子上还是在数据节点上运行它可以)?
最佳答案
您可以通过 Ambari 安装 kafka。 转到 Ambari 主页 -> 点击操作(左下角) -> 点击“添加服务” -> 选择“Kafka” -> 选择节点 -> 部署 -> 你就完成了。你的集群上有 kafka
您可以在“附录 A”中查看屏幕截图 http://hortonworks.com/hadoop-tutorial/simulating-transporting-realtime-events-stream-apache-kafka/
关于hadoop - 如何在hadoop集群上安装Kafka?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32522793/