hadoop - 集群重启后获取Hadoop集群上已执行的作业列表

标签 hadoop mapreduce hdfs yarn

我有hadoop集群2.7.4版本。由于某些原因,我必须重新启动集群。我需要在群集重新引导之前在群集上执行的那些作业的作业ID。命令mapred -list仅提供当前正在运行的等待作业详细信息

最佳答案

您可以在Yarn Resource Manager Web UI上查看所有作业的列表。

在浏览器中转到http://ResourceManagerIPAdress:8088/

这是我当前正在测试的Yarn集群上的历史记录的样子(并且我多次重启了服务):
Resource Manager Web UI Application History

查看更多信息here

关于hadoop - 集群重启后获取Hadoop集群上已执行的作业列表,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48905580/

相关文章:

hadoop - lily solr hbase 索引器 : add indexer indexdemo-indexer. xml

ruby - Amazon EMR 的 ruby​​ 流脚本中需要外部库

hadoop - 如何通过命令行在 hdfs 中查找大小大于 100MB 的所有文件?

hadoop - 查询Hadoop高可用性

ubuntu - 如何在Windows中访问Ubuntu VM HDFS?

hadoop - 无法在mapreduce中运行我的第一个单词计数示例

hadoop - Hadoop 2.x (Hortonworks) 上的辅助名称节点

hadoop - 衡量Hadoop Mapreduce作业的总运行时间

java - Hive Mapreduce 作业失败

java - Spring-Hadoop使用mapper类中的spring对象