未启用 Ubuntu Hadoop 2.7 HA

Question

我的操作系统是 Ubuntu 15.04 & Hadoop 版本是 2.7.0 通过 tar -xzf hadoop2.7.0.tar.gz 来自官网。

还有一些环境如下: (我没有足够的声誉。哈哈)

主机文件:

配置并启动journalnode后，出现一个疑惑的问题:

我处理了很长时间。有人可以帮助我吗？

这些是我的配置文件:

核心站点.xml:

hdfs-site.xml:

mapred-site.xml:

Answer 1

在 Ubuntu 15.04 中尝试以下设置

$ sudo apt-get 更新

$ sudo apt-get install default-jdk

$java -version

$ sudo apt-get install ssh

$ sudo apt-get 安装 rsync

$ ssh-keygen -t dsa -P ' ' -f ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

$ wget -c http://apache.mirrors.lucidnetworks.net/hadoop/common/hadoop-2.7.0/hadoop-2.7.0.tar.gz

$ sudo tar -zxvf hadoop-2.7.0.tar.gz

$ sudo mv hadoop/usr/local/hadoop

$ update-alternatives --config java

$ sudo nano ~/.bashrc

      #Hadoop Variables
      export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
      export HADOOP_HOME=/usr/local/hadoop
      export PATH=$PATH:$HADOOP_HOME/bin
      export PATH=$PATH:$HADOOP_HOME/sbin
      export HADOOP_MAPRED_HOME=$HADOOP_HOME
      export HADOOP_COMMON_HOME=$HADOOP_HOME
      export HADOOP_HDFS_HOME=$HADOOP_HOME
      export YARN_HOME=$HADOOP_HOME
      export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
      export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

$源~/.bashrc

$ cd/usr/local/hadoop/etc/hadoop

$ sudo nano hadoop-env.sh

      #The java implementation to use.
      export JAVA_HOME="/usr/lib/jvm/java-7-openjdk-amd64"

$ sudo nano 核心站点.xml

      <configuration>
              <property>
                  <name>fs.defaultFS</name>
                  <value>hdfs://localhost:9000</value>
              </property>
      </configuration>

$ sudo nano yarn-site.xml

      <configuration>
              <property>
                  <name>yarn.nodemanager.aux-services</name>
                  <value>mapreduce_shuffle</value>
              <property>
              <property>
                  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                  <value> org.apache.hadoop.mapred.ShuffleHandler</value>
              </property>
      </configuration>

$ sudo cp mapred.site.xml.template mapred-site.xml

$ sudo nano mapred-site.xml

      <configuration>
              <property>
                  <name>mapreduce.framework.name</name>
                  <value>yarn</value>
              </property>
      </configuration>

$ sudo nano hdfs-site.xml

      <configuration>
              <property>
                  <name>dfs.replication</name>
                  <value>1</value>
              </property>
              <property>
                  <name>dfs.namenode.name.dir</name>
                  <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
              </property>
              <property>
                  <name>dfs.datanode.data.dir</name>
                  <value>file:/usr/local/hadoop/hadoop_store/hdfs/datanode</value>
              </property>
      </configuration>

$光盘

$ mkdir -p/usr/local/hadoop/hadoop_data/hdfs/namenode

$ mkdir -p/usr/local/hadoop/hadoop_data/hdfs/datanode

$ sudo chown chaal:chaal -R/usr/local/hadoop

$ hdfs 名称节点格式

$启动-all.sh

$日元

http://192.168.56.10:8088/ http://192.168.56.10:50070/

我怀疑你在主从级别上有一些不正确的配置。请从上面的安装文档开始新的配置，它将起作用。以上链接适用于 Ubuntu 14.04，但它也适用于其他 Ubuntu 版本。