hadoop - 谁能澄清一下? "Block pool storage is not partitioned..."

标签 hadoop

我正在阅读 Tom White 撰写的 Hadoop - The Definitive Guide,第 4 版,他在其中写道,

"Block pool storage is not partitioned, however, so datanodes register with each namenode in the cluster and store blocks from multiple block pools."

谁能澄清一下?具体来说,如果...

NameNodeA: blockpool for DataNode1 and DataNode2
NameNodeB: blockpool for DataNode3 and DataNode4

...NameNodeB 是否存储 NodeNameA 的 block 池?这似乎很浪费,因为作者之前写道“namenodes 不相互通信。”

更新:在查看此处的评论并重新阅读之后,它似乎是这样工作的:您可以将命名空间划分为联合名称节点,这些名称节点管理一个分区(例如,/user)但仍然< strong>包含整个命名空间(例如,/user/foo/bar)。

最佳答案

This link更详细地解释了架构。它是由雅虎的一位 Hadoop 提交者创建的。我误以为只有 1 个命名空间,但实际上,您可以有多个命名空间。

关于hadoop - 谁能澄清一下? "Block pool storage is not partitioned...",我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45359405/

相关文章:

hadoop - 奇怪的 DNS 服务器导致 Hadoop 和 HBase 出现故障

hadoop - hadoop中如何添加硬盘

hadoop - Hadoop和Cassandra比较2行

hadoop - 面向Hadoop开发人员的Cloudera认证

hadoop - 跟踪 URL : N/A , RPC 端口:-1

postgresql - Hadoop上的Sqoop:NoSuchMethodError:com.google.common.base.Stopwatch.createStarted()

hadoop - Hadoop节点在启动期间不要求输入密码

apache-spark - 同时多个 Spark 应用程序,同一个 Jarfile... 作业处于等待状态

hadoop - 如何在我的 Windows 64 位机器上安装 hadoop 和 hive?我是一个初学者,对此有点天真。请赐教

java - 使用Livy提交Spark作业时报错: User did not initialize spark context