hadoop - 在 Apache Hadoop 中的 Datanode 内重新平衡磁盘

标签 hadoop hdfs

我有一个 Apache Hadoop 集群。面临数据分布不均的节点之一。机器有3个磁盘。磁盘 1 分别占据 86% 左右,磁盘 2 30% 和磁盘 3 60%。现在,如果数据在 DataNode 内的磁盘之间分布不均匀怎么办?
P.S:我想通知你存储类型不一样,所以,我无法关注 HDFS-1312。另外,我的 Hadoop 版本是 2.5.0。
有什么帮助吗? enter image description here

最佳答案

节点内平衡器是在 Hadoop3 中引入的。

我不确定是否有替代方案而不自己移动文件,即使它认为名称节点只跟踪数据节点而不是数据量,这也可能是有风险的

关于hadoop - 在 Apache Hadoop 中的 Datanode 内重新平衡磁盘,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52195997/

相关文章:

json - Hive问题,即使在使用JSON serde时也会查询可能格式错误的JSON文件

bash - 如何使用bash脚本在群集中的YARN上快速设置Spark?

azure - 在 Azure SQL 数据仓库中使用 Polybase 访问 Hadoop (Azure IaaS) HDFS 文件

hadoop - 如何更新 HDFS 中的文件

hadoop - 我们如何为 HDFS(Hadoop 分布式文件系统)开发代理

xml - 在 Hadoop 中处理复杂的 XML 以提取数据

amazon-web-services - 将目录传递给 hadoop 流 : some help needed

nosql - Hadoop 视频教程

hadoop - 使用 camus 属性将纪元时间戳转换为日期时间格式

python-2.7 - 在Centos 7上运行的HDFS上的Tweepy导入错误