hadoop - 将非 HA Hadoop 集群转换为 HA 集群

标签 hadoop hbase hdfs hadoop2 high-availability

我有一个具有 3 个节点的非 HA Hadoop 设置:一个 NameNode 和 2 个 DataNode。 NameNode是一个4GB内存和20GB硬盘的服务器,而每个DataNode有8GB内存和100GB硬盘。

现在我需要将其转换为 HA 集群。我读过有关执行此操作的两种方法:使用 Quorum Journal Manager 和使用共享存储。

从以上两个方面来看,最好的方法是什么?
每种方法需要多少个额外节点?
如何最大限度地减少使用现有节点添加新节点的需要(是否建议使用 DataNodes 和 NameNodes 作为 JournalNodes)?

我使用的是 Apache Hadoop 版本:2.7.2 和 Apache Hbase 版本:1.2.4

最佳答案

What is the best way of doing this from above two?

QJM(Quorum Journal Manager)是推荐的选择,除非你有一个高度可靠和容错的共享存储。

How many additional nodes do I required on each approach?

一个用于备用Namenode。您可以运行 JournalNodes 和 Zookeeper 节点以及 Datanodes。

关于hadoop - 将非 HA Hadoop 集群转换为 HA 集群,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43800813/

相关文章:

performance - 如何知道 MR2 中的 HDFS 并发吞吐量

design-patterns - 选择 MapReduce 设计模式

Scala spark 按键归约并找到共同值(value)

scala - Spark 中向量之间的平方距离

cassandra - 为什么 HBase 计数操作这么慢

hadoop - 无法访问 HBase Web UI

python - HDFS:使用Python3从HDFS读取数据解析HDFS中的XML文件

sql - Sqoop从Oracle导入到HDFS:不再需要从套接字读取数据

apache - Hbase ipc.RpcServer responseTooSlow 问题和区域服务器关闭

hadoop - HDFS 和 Databricks DBFS 之间的主要区别是什么?