google-cloud-platform - Dataproc YARN 容器日志位置

Question

我知道这个线程的存在:
where are the individual dataproc spark logs?

但是，如果我 ssh 连接到工作节点 vm 并导航到/tmp 文件夹，这就是我所看到的:

有谁能指出我的确切位置吗？

同样出于某种原因，我无法直接从 UI 导航到单个任务的 stdout/stderr，因为它说每当我尝试从 UI 中的链接访问日志时我都无法访问该站点

Answer 1

之前的答案看起来已经过时了。

如果您在谈论容器日志，那么:

1. 在具有 1.5 或更新版本镜像的集群上，Yarn 日志聚合默认启用，远程日志目录设置为集群的临时存储桶。可以在/etc/hadoop/conf/yarn-site.xml下查找，配置为yarn.nodemanager.remote-app-log-dir。
2. 在具有 1.4 或更旧镜像的集群上，默认情况下不启用日志聚合，因此容器日志将位于工作节点上的 /var/log/hadoop-yarn/userlogs 下容器已运行。