Azure Synapse Spark LIVY_JOB_STATE_ERROR

标签 azure apache-spark azure-synapse livy

在我的笔记本中执行任何单元格时,我正在尝试以下错误:

LIVY_JOB_STATE_ERROR: Livy session has failed. Session state: Killed. Error code: LIVY_JOB_STATE_ERROR. [(my.synapse.spark.pool.name) WorkspaceType: CCID:<(hexcode)>] [Monitoring] Livy Endpoint=[https://hubservice1.westeurope.azuresynapse.net:8001/api/v1.0/publish/8dda5837-2f37-4a5d-97b9-0994b59e17f0]. Livy Id=[3] Job failed during run time with state=[error]. Source: Dependency.

我的笔记本直到昨天都工作正常,我更改的是使用 Spark 2.4 到 Spark 3.2(预览版)的 Spark 池。这种更改是通过 terraform 模板部署进行的,这可能是问题的根源吗?如果是的话如何预防?

最佳答案

通过通过 azure 门户再次删除并创建我的 Spark 池解决了该问题,仍然不确定我的 terraform 模板中的哪些配置创建了该问题,但至少现在解决了问题。

关于Azure Synapse Spark LIVY_JOB_STATE_ERROR,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/72461813/

相关文章:

t-sql - Azure Synapse 无服务器 - Azure Synapse 无服务器池中的流加载 Parquet 意外结束

dataframe - Spark : Iterating through columns in each row to create a new dataframe

java - 如何更新 Scala 中日期格式的列

scala - 如何将 RDD[Row] 转换回 DataFrame

c# - Azure:监听非默认端口会导致访问被拒绝

azure - 从azure synapse sql导出数据

Azure Synapse Studio - 工作流程

azure - 我可以同时从同一台计算机使用 azure-cli 访问多个 azure 帐户吗?

json - 在 Azure 中链接两个 ARM 模板的最佳方法是什么

Azure AD B2C API 连接器用户属性