hadoop - Name Node 同时作为 Secondary Name Node 是否理想?

标签 hadoop hadoop2

我正在通过 Raspberry Pi 练习 hadoop 集群,根据本教程(http://www.widriksson.com/raspberry-pi-hadoop-cluster/),他在 hadoop masters 文件配置中设置了 node1,这令人困惑,因为他还使用节点启动 hadoop 守护进程。我也想知道他配置的原因

附言- 只需 ctrl+f 大师

最佳答案

不,这并不理想。如何配置集群取决于您。在本教程中,作者决定同时使用 node1 作为 P-NN 和 S-NN。请记住,RPi Hadoop 集群仅适用于开发和测试,而不适用于生产环境。

在单独的机器上运行主 NameNode 和辅助 NameNode 的优缺点(基于 Cloudera 的 This article):

1.Scalability. Creating the system snapshot requires about as much memory as the NameNode itself occupies. Since the memory available to the NameNode process is a primary limit on the size of the distributed filesystem, a large-scale cluster will require most or all of the available memory for the NameNode.

2.Durability. When the SecondaryNameNode creates a checkpoint, it does so in a separate copy of the filesystem metadata. Moving this process to another machine also creates a copy of the metadata file on an independent machine, increasing its durability.

关于hadoop - Name Node 同时作为 Secondary Name Node 是否理想?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34627898/

相关文章:

sql - Hive 中 NULLIF 的替换是什么?

hadoop - 我如何指向 Sqoop 以使用 TAB 作为分隔符?

hadoop - 如何使用cloudera演示虚拟机设置hadoop集群

hadoop - 如何在 hive 中按特定列进行分区?

hadoop - mapper 和 reducer 函数的输出到底是什么

java - 使用 Hadoop 在数据节点上写入临时文件时遇到问题

linux - 需要在 Hadoop-2.0.0 中手动创建 dfs.domain.socket.path 才能使用 Impala?

hadoop - HDFS联邦

hadoop - 有没有办法在 Pig Script 中创建索引?

Hadoop Map Reduce 索引越界