hadoop - 如何在hadoop集群上安装Kafka?

标签 hadoop apache-kafka

我想在我们的 HortonWorks Hadoop 集群上安装最新版本的 Kafka,该集群包含 2 个主节点、2 个边缘节点和 8 个数据节点。计划是在 8 个数据节点盒中的 2 个上安装 Kafka。 Kafka 每天需要处理多达几百万个事件,可能需要处理几批大小为 0.5Gb-1.2Gb 的文件副本。

问题:为了避免 kafka(或数据节点)潜在的性能下降,我需要考虑对数据节点或 kafka 的任何特殊配置吗?

Kafka 通常是如何部署的(在专用盒子上还是在数据节点上运行它可以)?

最佳答案

您可以通过 Ambari 安装 kafka。 转到 Ambari 主页 -> 点击操作(左下角) -> 点击“添加服务” -> 选择“Kafka” -> 选择节点 -> 部署 -> 你就完成了。你的集群上有 kafka

您可以在“附录 A”中查看屏幕截图 http://hortonworks.com/hadoop-tutorial/simulating-transporting-realtime-events-stream-apache-kafka/

关于hadoop - 如何在hadoop集群上安装Kafka?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32522793/

相关文章:

使用 kafka-connect-elasticsearch + timestamp SMT,Elasticsearch sink 只获取新消息而不是前一个消息

python - 如何获取 ConsumerRecord 中的字段

java - 在 pig 中使用DayExtractor时,错误1200不匹配的输入 'as'期望为SEMI_COLON

hadoop - 如何在GridGain中设置磁盘备份以进行恢复

java - 向kafka生成消息,但消费者没有收到 “some”的消息

java - 如何修复 NoNode 错误 - Storm kafka?

apache-kafka - JDBC Kafka Connector 可以拉取多个数据库的数据吗?

java - 执行一个简单的 mapreduce 函数以在 Hadoop 的日志文件中搜索字符串

java - NumberFormatException错误

scala - java.lang.NumberFormatException : For input string: "|" 异常