hadoop - 如何在HDFS群集上增加dfs的空间

Question

我们有4个datanode HDFS集群...每个数据节点上都有大量可用空间，大约98gb ...但是当我查看datanode信息时..
它仅使用约10GB ...



如何使它使用所有98gb的内存，而不会耗尽图像中显示的空间

这是名称节点上的hdfs-site.xml

<configuration>

    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>

    <property>
        <name>dfs.name.dir</name>
        <value>file:///test/hadoop/hadoopinfra/hdfs/namenode</value>
    </property>

    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:///tmp/hadoop/data</value>
    </property>

    <property>
        <name>dfs.datanode.du.reserved</name>
        <value>2368709120</value>
    </property>

    <property>
        <name>dfs.datanode.fsdataset.volume.choosing.policy</name>
        <value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
    </property>

    <property>
        <name>dfs.datanode.available-space-volume-choosing-policy.balanced-space-preference-fraction</name>
        <value>1.0</value>
    </property>

</configuration>

这是数据节点下的hdfs-site.xml

<configuration>

    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>

    <property>
        <name>dfs.data.dir</name>
        <value>file:///test/hadoop/hadoopinfra/hdfs/datanode</value>
    </property>

    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:///tmp/hadoop/data</value>
    </property>

    <property>
        <name>dfs.datanode.du.reserved</name>
        <value>2368709120</value>
    </property>

    <property>
        <name>dfs.datanode.fsdataset.volume.choosing.policy</name>
        <value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
    </property>

    <property>
        <name>dfs.datanode.available-space-volume-choosing-policy.balanced-space-preference-fraction</name>
        <value>1.0</value>
    </property>

</configuration>

98GB位于/ test 下



如果我们错过了配置中的任何内容，请告知我们

Answer 1

查看hdfs-site.xml中的dfs.datanode.data.dir。该属性将控制可用于存储DFS块的所有目录。

Documentation Link

因此，在您的计算机上执行“df -h”，它应列出构成98 GB的所有安装点。然后，在每个安装点中，确定可用于存储HDFS块数据的目录，并在以dfs.datanode.data.dir分隔的hdfs-site.xml逗号下添加那些目录。然后重新启动namenode和所有数据节点服务。

从您编辑的帖子中:

   <property>
        <name>dfs.data.dir</name>
        <value>file:///test/hadoop/hadoopinfra/hdfs/datanode</value>
    </property>

不应为 file:// 。它应该看起来像:

   <property>
        <name>dfs.data.dir</name>
        <value>/test/hadoop/hadoopinfra/hdfs/datanode</value>
    </property>

其他属性相同。