hadoop - 当名称节点崩溃时,名称节点如何确定存储在哪些不同的数据 block 中?

标签 hadoop hdfs

假设某个数据节点发生故障,那么它将停止发送心跳。现在,名称节点已经知道该特定数据节点不再在网络中。名称节点再次必须创建用于维护复制因子的块。名称节点如何知道死数据节点上存在块的所有不同副本。如果它将开始在FSImage上进行迭代,那么无疑这将是一个非常漫长的过程,并且将花费很长时间。那么,名称节点遵循的确切过程是什么,以了解死数据节点上存储的不同数据块是什么?

最佳答案

块图保存在内存中,因此可以很快找到故障主机上的所有块。

它是大小映射的函数,但不超过4gb。

关于hadoop - 当名称节点崩溃时,名称节点如何确定存储在哪些不同的数据 block 中?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50098825/

相关文章:

hadoop - hive 中的两次加法每次都会返回不同的精度

hadoop - HIVE线的意义

python-3.x - 无法识别的hadoop主要版本1.2.1错误-使用jayadebeapi进行Hive和Impala jdbc连接

hadoop - 无法创建Hadoop集群

hadoop - 如何在 AS/400 服务器和 Hadoop 之间建立连接并移动数据?

java - 数据库连接应该在Reducer 中还是从Master 中建立?

java - 在hadoop/级联中处理UTF-16LE编码的文件

hdfs - hadoop 删除零字节的文件

scala - Apache Spark : Load file from local instead of HDFS and Loading local file giving IllegalArguementException

hadoop - 为什么我无法在 hadoop hdfs 的父文件夹结构中创建子文件夹?