hadoop - Hadoop:HDFS群集空间不足,即使有可用空间

标签 hadoop yarn hadoop2

我们有4个datanode HDFS群集...每个数据节点上都有大量可用空间,大约98gb ...但是当我查看datanode信息时..它仅使用大约10gb的空间而已...

Data Node information

我们如何使其全部使用98gb而不耗尽图像中所示的空间

这是磁盘空间配置

Disk space distribution

这是名称节点上的hdfs-site.xml

<property>
        <name>dfs.name.dir</name>
        <value>/test/hadoop/hadoopinfra/hdfs/namenode</value>
 </property>

这是数据节点下的hdfs-site.xml
<property>
        <name>dfs.data.dir</name>
        <value>/test/hadoop/hadoopinfra/hdfs/datanode</value>
 </property>

即使/ test有98GB,并且hdfs配置为使用它,但未使用它

在进行配置更改时我是否缺少任何内容?我们如何确保使用了98GB?

最佳答案

根据this Hortonworks Community Portal link,修改数据节点目录的步骤如下:

  1. Stop the cluster.
  2. Go to the ambari HDFS configuration and edit the datanode directory configuration: Remove /hadoop/hdfs/data and /hadoop/hdfs/data1. Add [new directory location].
  3. Login into each datanode (via SSH) and copy the contents of /data and /data1 into the new directory.
  4. Change the ownership of the new directory and everything under it to “hdfs”.
  5. Start the cluster.


我假设您在技术上已经完成步骤2,因为您已经在原始问题中显示了正确配置的core-site.xml文件。确保已完成其他步骤,并且已停止所有Hadoop服务 。从那里,将所有权更改为运行Hadoop的用户(通常为hdfs,但我曾在root正在运行Hadoop进程的地方工作过),您应该会很好:)

关于hadoop - Hadoop:HDFS群集空间不足,即使有可用空间,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41722980/

相关文章:

java - Hadoop:从 JAVA 测量洗牌时间

hadoop - 有没有Louvain方法的hadoop实现?

hadoop - Hadoop不使用一个节点进行作业

scala - 对象 SparkSession 不是包 org.apache.spark.sql 的成员

java - Hadoop 中的 HDFS 目录在哪里创建?

hadoop - Hive Table保留支持

hadoop - 纱作业失败,出现ClassNotFound异常,但在HADOOP_CLASSPATH中添加了jar

hadoop - 关于在 hadoop 3.1.1 中找不到 “YarnChild” 类的任何想法?

sorting - 在 Hadoop2 中进行基准排序时出错 - 分区不匹配

hadoop - 输入条件以使用Oozie执行协调器 Action