apache-spark - 如果驱动程序崩溃会发生什么？

Question

我了解工作节点如何容错，但是如果您的驱动程序由于某种意外原因崩溃了会发生什么？ (断电/内存问题等)。

我想你会失去所有工作，因为读取结果的代码不再运行，或者 Spark 是否知道如何重新启动它？如果是这样怎么办？

Answer 1

正如 @zsxwing 指出的那样，这取决于您运行驱动程序的方式。除了在yarn中运行之外，你还可以使用cluster的部署模式来运行你的作业(这是spark-submit的一个参数)。在 Spark Streaming 中，您指定 --supervise，Spark 将为您重新启 Action 业。详情见Spark Streaming Guide 。