我有一个 Apache Hadoop 集群。面临数据分布不均的节点之一。机器有3个磁盘。磁盘 1 分别占据 86% 左右,磁盘 2 30% 和磁盘 3 60%。现在,如果数据在 DataNode 内的磁盘之间分布不均匀怎么办?
P.S:我想通知你存储类型不一样,所以,我无法关注 HDFS-1312。另外,我的 Hadoop 版本是 2.5.0。
有什么帮助吗?
最佳答案
节点内平衡器是在 Hadoop3 中引入的。
我不确定是否有替代方案而不自己移动文件,即使它认为名称节点只跟踪数据节点而不是数据量,这也可能是有风险的
关于hadoop - 在 Apache Hadoop 中的 Datanode 内重新平衡磁盘,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52195997/