hadoop - 在同一台服务器上找到 Accumulo/HDFS 和 Zookeepers?

标签 hadoop hdfs apache-zookeeper

我一直在做一个项目,其中 Zookeepers 与我的 Accumulo 集群/HDFS 位于同一台服务器上。关于他们的沟通一切正常,但现在我将开始重新设计其他一些基础设施,并且可能会对此进行更多研究。

我想知道这是否是最佳实践,因为我曾想过,如果事情被打破,维护可能会更容易。我知道 HDFS/Accumulo 需要放在一起,但就 Zookeeper 而言,它们应该留在同一台机器上,还是放在另一台机器上,或者每个单独的机器(可能没有理由这样做)?如果 HDFS/Accumulo 是独立的并且不受 Zookeeper 的“干扰”,那么在自动缩放方面是否有任何好处,您可以说性能会更好?

最佳答案

我假设您在谈论主节点(Namenode、AccumuloMaster 等)。如果是这样,那么就没有问题(有 2 个警告)。如果您在谈论数据节点,那么应该将其非常糟糕的做法和 ZooKeeper 移动到(至少)主节点。

有两件事绝对会破坏 ZooKeeper 的性能:交换和查找。因此,只要 ZooKeeper 有足够的内存和专用设备(不是挂载)就没问题。

关于hadoop - 在同一台服务器上找到 Accumulo/HDFS 和 Zookeepers?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36729307/

相关文章:

java - 在mac上安装hadoop时出错

hadoop - 如何在hive-site.xml中映射Hive仓库路径?

hadoop - 提供程序 com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem 无法实例化

apache-kafka - 如果zookeeper.set.acl设置为true,Kafka不会启动

kubernetes - Kubernetes 集群中用于 Apache Drill + Zookeeper 的 Zookeeper 上的存储插件配置

java - 如果 Kafka 和 Zookeeper 未运行,为什么 Maven Clean Install 无法完成?

apache-spark - SparkSession.catalog.clearCache()可以从hdfs中删除数据吗?

java - Hive自动增量

hadoop - 阻止报告错误有什么影响?

用于高可用性的 Hadoop 2.0 名称节点、辅助节点和检查点节点