java - 从Hadoop Job中提取JobID等

标签 java ubuntu hadoop

我正在集群中运行Hadoop jar文件。从文档中,我知道Hadoop管理着JobID,开始时间等。是否可以获取参数,以便我们可以在Web界面上显示这些参数,只是让用户知道该作业将花费多少时间(例如,估计工期)?

最佳答案

通过使用提供的API,可以轻松获得Jobtracker UI中显示的所有详细信息。

使用 jobclient API引用:https://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/JobClient.html
Jobstatus api引用:https://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/JobStatus.html

使用jobclient和jobstatus(jobsToComplete(),getAllJobs())的组合,可以检索JobId。获得jobId后,只需调用API中的函数即可轻松获得所有其他详细信息。

关于java - 从Hadoop Job中提取JobID等,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25665346/

相关文章:

java - 如何在 Junit 测试期间将日志级别设置为 DEBUG?

java - dropwizard 应用程序中的配置更改以与 React browserHistory 配合使用

javascript - Node-webkit 应用程序与终端对话

linux - Sublime Text 3 不加载 Ubuntu 中的菜单项和插件

java - 如何拦截方法调用以延迟执行,将所有调用组合在一起并在 java 中执行?

java - CloudFoundry Grails-无法检测Java编译器,请确保您使用的是JDK而不是JRE

linux - 如何查找非官方安装的软件包?

linux - 在hdfs路径中创建目录

hadoop - 由于没有减少操作符, reduce task 数设置为 0,hive 作业没有取得进展

hadoop - hadoop 中的 reducer 数量