hadoop - 如何在hadoop dfs中检查群集的完整路径

标签 hadoop cluster-computing microsoft-distributed-file-system

hadoop dfs默认仅提供相对路径。例如

hadoop dfs -ls / .... /tmp1/ .... /tmp2/



如何检查它来自哪个群集。完整的路径。

最佳答案

您只有一个集群,即Hadoop集群,并且在该集群中,只有一个Namenode(可以添加到化身节点或备份节点)和多个datanode。 HDFS是在集群级别配置的,因此namenode在运行HDFS主组件,所有datanode在运行HDFS从属组件,但是从逻辑 Angular 来看,集群中只有一个HDFS。

因此,现在当您调用hadoop Dfs -ls命令时,您将获得HDFS的逻辑 View ,该 View 将显示每个节点上可用的文件系统 View 。这就是每个人在任何节点上看到的内容。

HDFS配置说明了在名称节点和数据节点中配置HDFS的物理文件夹。打开您的conf / hdfs-sites.xml,它将向您显示物理路径是什么

<property>
 <name>dfs.name.dir</name>
 <value>FOLDER_INFO</value>
</property>
<property>
 <name>dfs.data.dir</name>
 <value>FOLDER_INFO</value>
</property>

关于hadoop - 如何在hadoop dfs中检查群集的完整路径,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/10566162/

相关文章:

java - Mapreduce文本文件排序

java - Apache nutch-2.2.1 执行出错

jakarta-ee - Wildfly - 不同节点上的 2 个 Websocket 之间的通信?

Hadoop HDFS : How to set hostname:9000 instead of localhost:9000

hadoop hdfs 从 cdh3 迁移到 cdh4

java - 方案 : wasb error in Hadoop 2. 7 没有文件系统

hadoop - 如何安装Sqoop 2服务器和客户端?

apache - 数据节点错误:NameSystem.getDatanode

node.js - NodeJs中如何使用多线程?

hadoop - Mapreduce Job 以本地模式而不是集群运行