hadoop Namenode 无法启动

标签 hadoop hadoop-streaming

如果您通过我之前的问题访问此链接:hadoop2.2.0 installation on linux ( NameNode not starting )

你可能知道!很长一段时间以来,我一直在尝试为 hadoop-2.2.0 运行单节点模式:D 如果不访问它,你会发现 :)

最后,在按照教程进行操作后,我可以很好地格式化名称节点,但是当我启动名称节点时,我在日志中看到以下错误:

2014-05-31 15:44:20,587 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: file:///
    at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:164)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:212)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:244)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:280)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:569)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1479)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1488)

我已经在谷歌上搜索了解决方案,大多数人都要求仔细检查并继续检查 core-site.xml 、 mapred-site.xml 、 hdfs-site.xml 我已经完成了所有这些他们对我来说看起来非常好。有没有人知道可能出了什么问题?

更新 文件位置 /usr/local/hadoop/etc/hadoop

核心站点.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/yarn_data/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/yarn_data/hdfs/datanode</value>
</property>
</configuration>

ma​​pred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration

最佳答案

dfs.namenode.name.dirdfs.datanode.data.dir 属性的值中删除 file: 。正确格式化 NameNode 并启动守护进程。此外,请确保您对这些目录拥有适当的所有权和权限。

如果你真的想使用 file: 方案,那么使用 file://,这样值看起来像:

file:///usr/local/hadoop/yarn_data/hdfs/namenode
file:///usr/local/hadoop/yarn_data/hdfs/datanode

HTH

关于hadoop Namenode 无法启动,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23974096/

相关文章:

hadoop - 带有字符串列的 Sqoop 增量

Hadoop哪个节点会将输入数据分割到多个 block ?

hadoop - 在 EMR 上运行 Pig 脚本

hadoop - zookeeper.znode.parent 不匹配异常

java - 如何通过修改org.apache.hadoop.hbase.mapreduce.RowCounter处理hbase中的海量数据?

hadoop - 在字符串中搜索特定文本 - Hive

python - 如何停用 Hadoop 流中的输出?

Hadoop 流式传输创建 numpy 数组的最快方法

Hadoop流式排序错误

hadoop - 使用 mapreduce 程序清理数据