当节点重新启动时，作业失败并显示以下消息:
ImportError: No module named mlflow
我已从 Databricks Cluster UI 安装了 mlflow，但仍然面临此问题。
集群配置:运行时 10.4 LTS Scala 2.12、Spark 3.2.1
最佳答案
集群管理器是管理客户 Apache Spark 集群的 Azure Databricks 服务的一部分。它在重新启动每个节点时发送命令来安装 Python 和 R 库。有时，库安装或从互联网下载工件可能比预期花费更多时间。出现这种情况的原因是网络延迟，或者如果附加到集群的库有许多依赖库，就会出现这种情况。
解决方案:
在笔记本中使用笔记本范围的库安装命令。您可以在一个单元格中输入以下命令，以确保安装所有指定的库。
dbutils.library.installPyPI("mlflow")
dbutils.library.restartPython()
引用 - https://learn.microsoft.com/en-us/azure/databricks/kb/libraries/library-install-latency
关于Azure databricks 作业失败并显示错误消息，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/72820438/