我正在通过oozie运行map-reduce作业。我使用的命令如下。
oozie job -verbose -oozie http://myoozieurl -config job.properties -run
如何查看hadoop作业生成的日志？有什么方法可以查看生成的日志或重新定向要在终端窗口上打印的日志？
如果使用(MapR)
hadoop命令运行作业，则可以在终端上看到log命令的输出。hadoop和oozie的新手。因此，这可能是新手的疏忽。
最佳答案
这篇文章说明了在mapreduce作业期间如何管理日志
https://discuss.zendesk.com/hc/en-us/articles/201925118
作业完成后，NodeManager将为每个容器保留${yarn.nodemanager.log.retain-seconds}的日志，默认为10800秒(3小时)，并在过期后将其删除。但是，如果启用了${yarn.log-aggregation-enable}，则NodeManager将立即将所有容器日志串联到一个文件中，并将它们上传到${yarn.nodemanager.remote-app-log-dir}/${user.name}/logs/<application ID>中的HDFS中，然后从本地userlogs目录中删除它们。 PHD默认情况下启用了日志聚合，这使日志收集变得很方便。
启用日志聚合的示例。我们知道在此mapreduce作业中执行了4个容器，因为“-m”指定了3个映射器，第四个容器是应用程序主数据库。每个NodeManager至少有一个容器，因此所有人都上载了一个日志文件。
[gpadmin@hdm1 ~]$ hdfs dfs -ls /yarn/apps/gpadmin/logs/application_1389385968629_0025/
Found 3 items
-rw-r----- 3 gpadmin hadoop 4496 2014-02-01 16:54 /yarn/apps/gpadmin/logs/application_1389385968629_0025/hdw1.hadoop.local_30825
-rw-r----- 3 gpadmin hadoop 5378 2014-02-01 16:54 /yarn/apps/gpadmin/logs/application_1389385968629_0025/hdw2.hadoop.local_36429
-rw-r----- 3 gpadmin hadoop 1877950 2014-02-01 16:54 /yarn/apps/gpadmin
关于logging - 通过oozie运行时Hadoop日志，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/21470355/