hadoop - HDFS单节点复制

标签 hadoop hdfs

在单独的物理硬盘驱动器上运行具有多个数据目录的单节点 HDFS 集群(或伪分布式模式)时,是否可以在磁盘故障的情况下进行 block 复制?

我知道单节点安装是非典型的,但仍然想知道。我阅读的所有内容都只涉及节点故障,但我找不到任何关于单节点场景中磁盘故障的信息。

注意:我只对这里数据丢失的可能性感兴趣,而不对所谓的“集群”的可用性感兴趣。

最佳答案

节点故障可能仅由磁盘故障引起,因此每次磁盘故障都会导致节点故障,这意味着如果您只有一个磁盘和一个节点,数据就会丢失。但是如果你在一个节点上有两个磁盘,你可以在该机器上有两个 DataNode,每个都有一个单独的磁盘,然后你就可以进行复制。在这种情况下,磁盘故障不一定会导致节点故障。

关于hadoop - HDFS单节点复制,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34921531/

相关文章:

hadoop - 如何使用需要处理的 5TB 编辑文件成功完成名称节点重启

java - 为什么 Oozie 在运行 MapReduce 作业时分配更多内存?

hadoop - Terasort如何工作

python - 如何从python连接到远程hadoop/hive(URL)?

hadoop - 尝试查找文件中具有匹配字符串的所有行,然后将结果保存到Hadoop HDFS中单独目录中的文件中

elasticsearch - 可以在 Elasticsearch 中存储图像吗?

hadoop - Hadoop 2.x 中的默认 block 大小

hadoop - Cloudera 命令 : hdfs dfs -put testfile. txt 失败

hadoop - 采样 HBase 表键空间

csv - cloudera quick start 使用终端加载 csv 表 hdfs