我有一个 HDInsights Spark 群集。我使用脚本操作安装了tensorflow。安装顺利(成功)。
但是现在当我创建一个 Jupyter 笔记本时，我得到:
import tensorflow
Starting Spark application
The code failed because of a fatal error:
Session 8 unexpectedly reached final status 'dead'. See logs:
YARN Diagnostics:
Application killed by user..
Some things to try:
a) Make sure Spark has enough available resources for Jupyter to create a Spark context. For instructions on how to assign resources see http://go.microsoft.com/fwlink/?LinkId=717038
b) Contact your cluster administrator to make sure the Spark magics library is configured correctly.
我不知道如何修复此错误...我尝试了一些方法，例如查看日志，但它们没有帮助。
我只想连接到我的数据并使用 tensorflow 训练模型。
最佳答案
这看起来像是 Spark 应用程序资源的错误。检查集群上的可用资源并关闭任何不需要的应用程序。请在此处查看更多详细信息:https://learn.microsoft.com/en-us/azure/hdinsight/spark/apache-spark-resource-manager#kill-running-applications
关于Azure HDInsights Spark 集群安装外部库，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/49975169/