java - hadoop 2.7.2 多节点中的作业历史记录 webui-19888 在作业完成后不显示任何内容

Question

当我在 hadoop2.7.2 中用 2 个从站运行作业后，我可以在终端中看到结果，但在 master:19888/jobhistory 中什么也没有。我上传了图片和我的配置文件。 job history webui 19888

这是我的配置文件。 core.site.xml

<property>
    <name>fs.default.name</name>
    <value>hdfs://master:9000</value>    
</property>

   <property>
    <name>hadoop.tmp.dir</name>
    <value>/app/hadoop/tmp</value> 
</property>

hdfs.site.xml

<property>
<name>dfs.replication</name>
<value>2</value>
</property>

<property>
<name>dfs.name.dir</name>
<value>file:/usr/local/hadoop/hadoop_tmp/hdfs/namenode</value>
</property>

<property>
<name>dfs.data.dir</name>
<value>file:/usr/local/hadoop/hadoop_tmp/hdfs/datanode</value>
</property>

mapred.site.xml

<property>
    <name>mapred.job.tracker</name>
    <value>master:54311</value>    
</property>

<property>
    <name>mapred.framework.name</name>
    <value>yarn</value>
</property>

<property>
<name>mapred.jobhistory.address</name>
<value>master:10020</value>
</property>

yarn.site.xml

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>


<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8025</value>
</property>

<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8035</value>
</property>

<property>
<name>yarn.resourcemanager.address</name>
<value>master:8050</value>
</property>

Answer 1

该属性是 mapred-site.xml 中的 mapreduce.framework.name

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

当前属性mapred.framework.name无效且无法识别。因此，作业以本地模式提交。 jobhistoryserver 不会跟踪本地运行的作业。

修改属性名称并重新启动服务。