在单独的物理硬盘驱动器上运行具有多个数据目录的单节点 HDFS 集群(或伪分布式模式)时,是否可以在磁盘故障的情况下进行 block 复制?
我知道单节点安装是非典型的,但仍然想知道。我阅读的所有内容都只涉及节点故障,但我找不到任何关于单节点场景中磁盘故障的信息。
注意:我只对这里数据丢失的可能性感兴趣,而不对所谓的“集群”的可用性感兴趣。
最佳答案
节点故障可能仅由磁盘故障引起,因此每次磁盘故障都会导致节点故障,这意味着如果您只有一个磁盘和一个节点,数据就会丢失。但是如果你在一个节点上有两个磁盘,你可以在该机器上有两个 DataNode,每个都有一个单独的磁盘,然后你就可以进行复制。在这种情况下,磁盘故障不一定会导致节点故障。
关于hadoop - HDFS单节点复制,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34921531/