hadoop - 以编程方式检索特定作业的 tasktracker 日志

标签 hadoop hdfs bigdata oozie webhdfs

您好,我正在使用 OozieClient API。 我需要使用 OozieClient API 检索特定工作流作业的任务跟踪器日志。如果不使用 OozieClient API,使用程序的任何其他方式也可以。截至目前,使用 OozieClient 我能够使用 client.getJobLog() 获取作业日志,但我需要任务跟踪器日志而不是作业日志。请帮忙。

最佳答案

尝试使用 OozieClient API 从 oozie 中检索 yarn 应用程序 ID。

获得此 ID 后,您可以使用其 rest api/或历史服务器的客户端库调用历史服务器,以使用“jobAttempts”api 获取日志目录路径。

现在您可以使用 hadoop 客户端浏览此目录。

关于hadoop - 以编程方式检索特定作业的 tasktracker 日志,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20438338/

相关文章:

hadoop - HBASE中的SingleColumnValueFilter给出错误

hadoop - 如何在 hadoop 中处理不可分割的 500 MB+ 输入文件?

java - HBase:如何通过限定符和值使用过滤器扫描时获得完整的行?

hadoop - 亚马逊弹性 map 减少 : Command Line Tools installation Issue?

Hadoop - 搜索特定字符串然后返回包含字符串的文件名

hadoop - 将 Parquet 数据从 HDFS 收集到本地文件系统

hadoop - 在 HDFS 中插入文件时出现问题

apache-spark - Spark Parquet 分区 : Large number of files

ubuntu - 从 Pyspark 访问 HDFS 失败

r - 如何对内存过大的 RData 文件进行子集化?