java - Hadoop 2.7.1 中的作业历史记录服务器不工作

Question

我到处探索，但找不到解决方案。当我运行 jps 命令时，它不显示正在运行的作业历史服务器。

历史服务器的配置设置是什么以及如何启动它？

编辑 1:

当历史服务器停止时，所有以前记录的作业信息都会被删除。如何在集群和/或历史服务器重启后保留所有这些信息？

Answer 1

JobHistoryServer 进程必须单独启动。

开始:

$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver

停止:

$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh stop historyserver

如果集群设置为伪分布式，则不需要额外的属性。

在多节点集群设置中，在 mapred-site.xml 中添加这些 JobHistoryServer 属性:

<property>
   <name>mapreduce.jobhistory.address</name>
   <value>hostname:10020</value> <!-- hostname of machine  where jobhistory service is started -->
</property>
<property>
   <name>mapreduce.jobhistory.webapp.address</name>
   <value>hostname:19888</value> 
</property>