我的 Azure Synapse 笔记本已成功完成,但笔记本运行在 Spark 应用程序 View 中显示为“失败”,即使管道认为它们成功并在之后执行了适当的工作。
我收到如下所示的错误:
Error details
This application failed due to the total number of errors: 1.
Error code 1
EXCEPTION_DURING_SPARK_JOB_CLEANUP
Message
[plugins.mooboo9-synapse.mooboo9cluster.479 WorkspaceType:<Synapse> CCID:<dd232b79-7565-4825-bf5c-af847424a079>]. [Cleanup] -> [Ended] JobResult=[Cancelled] LivyJobState=[idle]. Unable to kill livy job.
Source
Dependency
我假设原因是“无法杀死 livy job”。但是什么原因导致这个问题以及如何解决它?我什至不知道从哪里开始。我在 Stack Overflow 上看到过类似的错误,但不是这个。
当我查看 Livy 日志时,我也看到这些错误:
22/10/20 22:21:59 WARN DependencyUtils: Local jar /opt/livy/rsc-jars/netty-all-4.1.17.Final.jar does not exist, skipping.
22/10/20 22:21:59 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
最佳答案
显然,“SparkMetricsListener”在完成后并未从应用程序中脱钩。其根本原因尚不清楚。
此问题导致集群基于空闲超时并关闭,然后由于此监听器而报告关闭错误。笔记本电脑的以下配置 block 暂时可以防止该问题:
%%configure -f
{
"conf":
{
"livy.rsc.synapse.spark-config-merge-rule.enabled": "false",
"spark.extraListeners": "",
}
}
当你把上面的配置。在笔记本单元格中不要添加评论或其他任何内容;否则会失败。
关于azure - 我的 Azure Synapse 笔记本已成功完成,但收到错误 "Error code 1 EXCEPTION_DURING_SPARK_JOB_CLEANUP",我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/74156500/