java - Hadoop:java.net.ConnectException:连接被拒绝

标签 java hadoop ubuntu-14.04 flume-ng flume-twitter

您好,我一直在努力学习本教程:http://www.tutorialspoint.com/apache_flume/fetching_twitter_data.htm 很长一段时间以来,我完全停留在第 3 步:在 HDFS 中创建目录。我已经运行了 start-dfs.sh 和 start-yarn.sh 并且两者似乎都正常工作,因为我得到与教程相同的输出但是当我尝试运行时:

hdfs dfs -mkdir hdfs://localhost:9000/user/Hadoop/twitter_data 

我一直收到同样的错误:

mkdir: Call From trz-VirtualBox/10.0.2.15 to localhost:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

我无法弄清楚为什么,因为我到处搜索并尝试了一些解决方案但似乎无法取得进展。我将列出所有我认为可能导致此问题的文件,但我可能错了:我的 core.site.xml 是:

<configuration>
<property>  
<name>hadoop.tmp.dir</name>
<value>/Public/hadoop-2.7.1/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>

我的 mapred-site.xml 是:

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>

我的 hdfs.site.xml 是:

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permission</name>
<value>false</value>
</property>
</configuration>

我在虚拟盒子上运行 Ubuntu 14.04.4 LTS。我的 ~/.bashrc 看起来是这样的:

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop/bin 
export HADOOP_HOME=/usr/local/hadoop/bin
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
#flume
export FLUME_HOME=/usr/local/Flume
export PATH=$PATH:/FLUME_HOME/apache-flume-1.6.0-bin/bin
export CLASSPATH=$CLASSPATH:/FLUME_HOME/apache-flume-1.6.0-bin/lib/*

最后我的/etc/hosts 文件是这样设置的:

127.0.0.1  localhost
10.0.2.15  trz-VirtualBox
10.0.2.15  hadoopmaster


# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

添加的 hadoopmaster 我目前没有使用,这是我试图通过不使用本地主机来解决这个问题的尝试之一(没有用)。 trz-VirtualBox 最初是 127.0.1.1 但我读到你应该使用你的真实 IP 地址?两者都不起作用,所以我不确定。我发布了所有这些文件,因为我不知道错误在哪里。我不认为这是一个路径问题(在我到达这一步之前我有很多并且能够自己解决它们)所以我没有想法。我已经在这里待了几个小时了,所以感谢您的帮助。谢谢你。

最佳答案

关于java - Hadoop:java.net.ConnectException:连接被拒绝,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37637941/

相关文章:

hadoop - 如何在HDFS中更改字符集

python - 没有名为 Selenium 的模块

java - Google Guice 独立批处理中的 JSR-352

java - 从另一个类追加 jtextarea

java - 无法让 ZooKeeper 集群工作,选举永远不会发生

linux - 如何更改 gcc 手册页的默认版本?

ubuntu - 使用带有 roslaunch 的 tab-completion 进行爬网时权限被拒绝错误

Java 线程 : Should all shared variables be Volatile ?

java - Apache Jmeter : Post an object not working with ModelAttribute

eclipse - 如何使用Eclipse为hadoop创建可运行的jar