java - 使用JobID获取MapReduce输出文件夹

标签 java hadoop mapreduce

我正在尝试通过jobClient和runningjob api从一个简单的Java应用程序获取mapreduce输出文件夹。我只有工作ID。

正在运行的作业api显示它具有getConfiguration方法,但我在程序中未得到它。我正在使用cdh4.5.0版本

还有其他使用文件系统api获取映射输出文件夹的方法吗?也许。

最佳答案

最简单的方法是从Job tracker Web控制台中查找。转到JobTracker.jsp选择作业,然后单击xml链接Job File: hdfs://192.z.z.z:9000/hadoop/mapred/system/job_201401060430_0001/job.xml。这将显示作业的所有属性。寻找mapred.output.dir

关于java - 使用JobID获取MapReduce输出文件夹,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20944540/

相关文章:

javascript - 将 JSON 数据从 JavaScript 发送到 Servlet

java - 为什么应用程序遇到 OutOfMemoryError 时其他进程仍在运行

hadoop - 使用 Hadoop 去规范化

mapreduce - RavenDB 索引与映射减少不同

java - 如何在新的mapreduce API中设置JobEndNotificationURI?

hadoop - 在 hadoop 多节点集群设置中创建从作业日志到 ${hadoop.tmp.dir} 的符号链接(symbolic link)失败

java - 康威生命游戏不起作用计数邻居方法不起作用

hadoop - 多个应用程序主机可以驻留在YARN中的同一节点上吗?

java - 如何在 hadoop 的新 api 中设置 setMaxMapTaskFailuresPercent?

java - 使用不同的参数顺序执行 TestNG 测试?