我有一个具有 3 个节点的非 HA Hadoop 设置:一个 NameNode 和 2 个 DataNode。 NameNode是一个4GB内存和20GB硬盘的服务器,而每个DataNode有8GB内存和100GB硬盘。
现在我需要将其转换为 HA 集群。我读过有关执行此操作的两种方法:使用 Quorum Journal Manager 和使用共享存储。
从以上两个方面来看,最好的方法是什么?
每种方法需要多少个额外节点?
如何最大限度地减少使用现有节点添加新节点的需要(是否建议使用 DataNodes 和 NameNodes 作为 JournalNodes)?
我使用的是 Apache Hadoop 版本:2.7.2 和 Apache Hbase 版本:1.2.4
最佳答案
What is the best way of doing this from above two?
QJM(Quorum Journal Manager)是推荐的选择,除非你有一个高度可靠和容错的共享存储。
How many additional nodes do I required on each approach?
一个用于备用Namenode。您可以运行 JournalNodes 和 Zookeeper 节点以及 Datanodes。
关于hadoop - 将非 HA Hadoop 集群转换为 HA 集群,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43800813/