python - 使用 databricks 集群执行 azure 存储上存在的 python 代码

标签 python azure azure-blob-storage databricks

我们的代码结构如下 enter image description here

在pkg文件夹中,我们有main.py和execute.py导入(from pkg import main.hello)

执行.py

from mnt.cdr.code.pkg import main

main.hello()

main.py

def hello():
    print("hello")

此代码存在于 azure 存储上,并且该 blob 容器已安装到/mnt/cdr/code.. 但我们收到“mnt 模块未找到”。

如何从 azure databricks 集群上的 blob 容器运行此代码?

最佳答案

模块未找到错误通常发生在Python无法定位错误时。导致此错误的最常见原因是未安装所需的模块或错误地导入模块。

请检查是否所有模块均已导入。如果全部正确请重启集群并检查

该问题可能是由于 azure 库的版本可能与现有库冲突。通过降级或升级 Azure 库进行检查。 此外,当您尝试访问已创建的安装点或创建新的安装点时,它会失败并出现错误。

要卸载挂载点,请使用以下命令: dbutils.fs.unmount("/mnt/")

检查Failure when mounting Blob storage - Azure Databricks | Microsoft Docs & bash - Azure Databricks cluster init script - install python wheel - Stack Overflow

引用文献:

  1. azure-sdk-for-python-storage-blob-upload-download
  2. Libraries | Databricks
  3. util-linux

关于python - 使用 databricks 集群执行 azure 存储上存在的 python 代码,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/71677473/

相关文章:

python - 我应该从 Python 3.0 开始吗​​?

Python pandas groupby 中特定行的差异

azure - 如何避免通过terraform脚本更新应用程序网关的后端池

azure - 根据 Azure Functions 2.x 和 VS 的环境自动加载设置文件

python - 在 python 中显示 sympy 渲染的 svg 的问题

python - 简单函数是线程安全的吗

angular - 如果 url 请求返回 404,它可能会返回默认图像吗?

python - Azure Functions - BlobTrigger - 如何使用容器中的任何文件触发函数?

sql-server - 将 DbVisualizer 与 Azure SQL 结合使用的数据库驱动程序是什么?

c# - 将 blob 从一个目录复制到同一容器 Azure 存储中的另一个目录