我正在集群中运行Hadoop jar文件。从文档中,我知道Hadoop管理着JobID,开始时间等。是否可以获取参数,以便我们可以在Web界面上显示这些参数,只是让用户知道该作业将花费多少时间(例如,估计工期)?
最佳答案
通过使用提供的API,可以轻松获得Jobtracker UI中显示的所有详细信息。
使用 jobclient API引用:https://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/JobClient.html
和 Jobstatus api引用:https://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/JobStatus.html
使用jobclient和jobstatus(jobsToComplete(),getAllJobs())的组合,可以检索JobId。获得jobId后,只需调用API中的函数即可轻松获得所有其他详细信息。
关于java - 从Hadoop Job中提取JobID等,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25665346/