dataproc spark 作业日志位于何处?我知道“日志记录”部分下有来自驱动程序的日志,但是执行节点呢?另外,Spark 正在执行的详细步骤记录在哪里(我知道我可以在 Application Master 中看到它们)?我正在尝试调试一个似乎挂起并且 spark 似乎卡住的脚本。
最佳答案
2022 年第三季度更新:此答案已过时,请参阅 Dataproc YARN container logs location获取最新信息。
任务日志存储在 /tmp
下的每个工作节点上。
可以通过 yarn 日志聚合将它们收集在一个地方。在集群创建时设置这些属性(通过带有 yarn:
前缀的 --properties
):
yarn.log-aggregation-enable=true
yarn.nodemanager.remote-app-log-dir=gs://${LOG_BUCKET}/logs
yarn.log-aggregation.retain-seconds=-1
这是一篇讨论日志管理的文章:
https://hortonworks.com/blog/simplifying-user-logs-management-and-access-in-yarn/
关于google-cloud-dataproc - 各个 dataproc Spark 日志在哪里?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47342132/