使用配置有 Yarn 的 Spark(在 client 模式下，虽然与问题关系不大)，我发现我的一些Executors 失败。
Executor 是一个 Yarn-Container，它的日志文件位于:/var/log/hadoop-yarn/containers/containerID。容器生成的一些(关键)事件/日志渗透到驱动程序，但不是全部。据观察，当一个Executor 失败时，它的log file 会在它死后立即被清除。有什么方法可以防止这些日志因调试目的而被删除吗？
最佳答案
既然，你的 yarn 上有 Spark ，我希望这有助于收集所有日志
yarn logs -applicationId <application ID>
关于hadoop - Spark + yarn : How to retain logs of lost-executors，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/37689608/