azure - Spark 驱动程序在 900 秒内启动失败

Question

我们正在尝试在 Azure Databricks 中运行 Spark 作业，但收到此错误:

失败类型:用户配置问题 详细信息:Databricks 执行失败，错误状态:InternalError，错误消息:INTERNAL_ERROR:Spark 驱动程序无法在 900 秒内启动。

如何解决？

Answer 1

Databricks 作业有错误消息: “Spark 驱动程序在 900 秒内启动失败”

调试步骤

1. 从事件中复制作业执行的 URL 并检查作业日志。
2. 有时作业页面不包含错误消息，需要检查整个 Spark 集群日志。
3. 现在检查:标准错误和Log4j 输出

分析结果 此类问题表明 Databricks 无法分配 Azure VM(对于 Azure)或 EC2 实例(对于 AWS)来启动驱动程序。通常，根本原因是运行 Databricks 工作区的云侧缺乏可用资源(内存)。此事件有待云工程师解决。

要检查是否解决，请打开作业并检查最近一次执行是否成功。