hadoop - Hadoop HA:-使用新名称节点恢复失败的名称节点

Question

我正在阅读《 Hadoop最终指导》中的“高可用性”，以下内容并不清楚，

To recover from a failed namenode in this situation, an administrator starts a new primary namenode with one of the filesystem metadata replicas and configures datanodes and clients to use this new namenode. The new namenode is not able to serve requests until it has

(i) loaded its namespace image into memory,

(ii) replayed its edit log, and

(iii) received enough block reports from the datanodes to leave safe mode.

我的理解:-

最初，主要名称节点发生故障，并且“使用文件系统元数据副本之一”启动了新名称节点。

以下是我的问题:

a。)“文件系统元数据副本”是指NFS中文件系统的备份还是副名称中复制的fs元数据？如果不是，那还有其他事情吗？

b。)启动新名称节点代替失败的主名称节点的过程。

c。)如何将 namespace 镜像加载到新名称节点的内存中。

d。)如何在新名称节点中重放编辑日志。

e。)新名称节点如何从数据节点接收阻止报告。

f。)什么是Hadoop安全模式。

h。)安全模式在名称节点和数据节点中具有不同的含义。

i。)如何确保名称节点收到足够的阻止报告。

J.)如何确认datanode的左安全模式。

Answer 1

a.) 'filesystem metadata replicas' mean backup of filesystem in NFS or replicated fs metadata in secondary name? And if not, is it some thing else.

任一个都很好，它们是相同的。实际上，您会发现

    -rw-r--r-- 1 root   root    5902401510  5月 25 11:25 fsimage_0000000004135660446
    -rw-r--r-- 1 root   root            62  5月 25 11:25 fsimage_0000000004135660446.md5
    -rw-r--r-- 1 root   root    5904535085  5月 25 13:06 fsimage_0000000004136678683
    -rw-r--r-- 1 root   root            62  5月 25 13:06 fsimage_0000000004136678683.md5
    -rw-r--r-- 1 root   root      37822049  5月 24 22:55 edits_0000000004125929293-0000000004126105088
    -rw-r--r-- 1 root   root       5821392  5月 24 23:01 edits_0000000004126105089-0000000004126140857

数字数字表示交易ID。最好使用ID最大的最新版本。它决定了Namenode最后一次记住的时间。

b.) Procedure to started new name node in place of failed primary name node.

确保在同一节点上启动它。如果出现物理故障，则必须在另一台计算机上启动它。确保新计算机具有原始主机名或IP地址。只要没有其他NameNode正在运行，就可以使用启动脚本正常启动namenode。

c.) how to load namespace image into memory in new name node. d.) how to replay edit logs in new name node.

Namenode进程将加载fsimage并自动重播编辑日志。

e.) How does new name node receives block reports from datanodes.

重复以上操作，确保在同一节点中启动它。如果出现物理故障，则必须在另一台计算机上启动它。确保新计算机具有原始主机名或IP地址。如果没有，则必须更改所有Datanode中的Namenode地址，这很麻烦。

f.) what is safe mode in hadoop.

NameNode的安全模式本质上是HDFS群集的只读模式，该模式不允许对文件系统或块进行任何修改。用于保护您的数据安全。

h.) is safe mode has different meaning in name node and in datanode.
J.) How to confirm datanode's left safe mode.

Datanode没有“安全模式”。

i.) How to make sure name node received enough block reports.

只要您不关闭数据节点，当Namenode重新存在时，所有数据节点都会向其发送阻止报告。