apache-spark - 为什么spark执行器会收到SIGTERM？

Question

我正在使用 Spark API(Spark 核心 API，而不是 Stream、SQL 等) 我经常在spark dumped日志中看到这种错误: Spark环境:1.3.1yarn-client

ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL 15: SIGTERM

1. 谁触发了 SIGTERM。 YARN、Spark 还是我自己？
2. 此信号会终止 Spark Executor 吗？如果没有，哇会不会影响spark程序。

我确实按了 Ctrl+c，但这应该是 SIGINT。如果 YARN 杀死执行器，那就是 SIGKILL。

Answer 1

您可能会在 yarn 日志中找到原因。如果您激活了日志聚合，您可以键入

yarn 日志 -applicationId [app_id]

并查找异常。