hadoop - Hadoop 中的容错

标签 hadoop hdfs bigdata

我们知道在 hadoop 中,如果数据损坏,一个新的副本将突然创建,如果最初关闭的节点工作正常,那么 namenode 将如何处理 4 个副本,它会删除一个节点吗?

如果是新创建的那个还是突然起来的那个?

最佳答案

在一个data node宕机的情况下,name node会看到一些数据 block under-replicated并开始复制到其他集群中的节点将复制恢复到预期水平(默认 3)。

当损坏的节点再次启动时,来自该节点的所有 block 将被视为具有 4 个副本的过度复制

当一个 block 变得过度复制时,名称节点选择一个副本来删除。 name node 不希望减少承载副本的机架数量,其次更愿意从可用磁盘空间最少的 data node 中删除副本。这可能有助于重新平衡集群上的负载。

关于hadoop - Hadoop 中的容错,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30941627/

相关文章:

Ruby PStore 与 Postgres

hadoop - 压缩文件 'hadoop hdfs -get'

networking - Hadoop 自定义节点上的输入分布

apache-spark - 压缩 Spark 输出文件

java - JobTracker未运行

hadoop - 平衡器在 HDFS 中如何工作?

hadoop - 当并非所有副本都可以存储在集群上时,将文件存储在 Hadoop 上

hadoop - cloudera Impalad实例如何工作?

hadoop - pig udf中是否有类似setup的功能

python - 通过API进行CDH自动部署不会为主机设置CDH版本