hadoop - 多个服务可以使用同一个 Zookeeper 实例吗?

标签 hadoop apache-zookeeper apache-storm apache-kafka

一个 Zookeeper 安装是否足以被 Hadoop Kafka 和 Storm 集群使用? 我想将所有部署在一个测试环境中并尝试使用这些技术, 我可以为此使用一个 zookeeper 安装吗?同一个 znode 可以专用于多个服务?

最佳答案

是的,您可以使用单个 zookeeper 安装来支持多个集群,甚至是不同类型的集群。很长一段时间以来都是这种情况 - 这里有一个链接,指向 2009 年对此进行的很好的讨论:http://zookeeper-user.578899.n2.nabble.com/Multiple-ZK-clusters-or-a-single-shared-cluster-td3277547.html

对于测试来说这很好(甚至可以在一台 ZK 服务器上运行它)。对于生产用途,您至少需要一个 3 节点集群。您应该仔细考虑在单个集群上运行所有内容。

原因是,如果您在单个 ZK 集群上运行多个 Hadoop、Storm 和 Kafka 集群,那么一组服务器将成为所有分布式系统的单点故障。您可以使用超过 3 个服务器(假设 7 个)来增强 ZK 设置,以便它可以处理多个故障,但如果有人不小心使 ZK 宕机,您的所有分布式环境也会宕机。

有些人认为,系统之间的隔离度越高越好。我认为它因用例而异,但我会小心地将所有鸡蛋放在一个 ZK 篮子中。

关于hadoop - 多个服务可以使用同一个 Zookeeper 实例吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24340309/

相关文章:

java - Elastic Storm拓扑/Storm-Hadoop共存

amazon-web-services - 将 Apache Storm 部署到 AWS 时出错

java - 在 hadoop 上运行 JNI 的 Apache Pig 无法在多个 map 上加载共享对象(但仅在一个 map 上运行良好)

hadoop - 配置单元查询无法启动 map 阶段

jinja2 - Ansible:如何为主机设置序列号

java - 使用 Kafka、Zookeeper 和 MongoDB Dockerize Spring Boot Java 应用程序

apache-storm - 我将如何在 Apache Storm 中拆分流?

hadoop - 如何从 HDFS 文件系统执行 hadoop jar?

hadoop - AWS 上的 hive : convert S3 JSON to Columnar preserving partitions

architecture - Google的分布式监管模型的体系结构