hadoop - Hadoop不使用配置文件?

标签 hadoop configuration directory hdfs

我在工作中部署Hadoop,几天来一直在进行故障排除。昨天它运行良好,但是今天发生了一些奇怪的事情。

我在core-site.xml以及HDFS的其他目录(hdfs-site.xml中的datanode,namenode和secondarynamenode)中设置了hadoop.tmp.dir。但是今天,当我格式化FS时,它是在/ tmp中而不是在我配置的/ usr / local / hadoop / tmp中创建所有文件。

$ bin/hdfs namenode -format
[...]    
INFO common.Storage: Storage directory /tmp/hadoop-hadoop/dfs/name has been successfully formatted.
[...]

core-site.xml
<property>
      <name>hadoop.tmp.dir</name>                
      <value>/usr/local/hadoop/tmp</value>
</property>

hdfs-site.xml
   <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/hdfs/namenode</value>
   </property>

   <property>
        <name>dfs.namenode.checkpoint.dir</name>
        <value>/usr/local/hadoop/hdfs/secondname</value>
   </property>

   <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop/hdfs/datanode</value>
   </property>

任何人都知道发生了什么事吗?

谢谢!

最佳答案

确保此目录存在并具有足够的权限

给出路径为file:///usr/local/hadoop/tmp

关于hadoop - Hadoop不使用配置文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51322149/

相关文章:

c++ - Qt Creator/qmake - 从源目录加载 Assets 文件夹,而不是构建目录

scala - 使用 hadoop IncompatibleClassChangeError 在 EC2 上运行 spark 应用程序失败

java - hadoop无法启动start-dfs.sh

configuration - 为什么要在没有配置的情况下进行依赖注入(inject)?

c# - C# 3.5 中的应用程序配置

c# - 如何读取或写入数百万个目录?

java - Hadoop MapReduce错误: org. apache.hadoop.mapreduce.Counter

hadoop - 多节点hadoop集群安装推荐

spring - 如何在resources.groovy中使用Grails数据源?

C——目录探索