Azure Databricks 安装 Blob 存储

标签 azure azure-blob-storage databricks azure-databricks

我正在尝试将 blob 存储从我的存储帐户映射到我的 databricks 集群。我正在关注这个link显然,我只需要在我的笔记本中执行此代码:

Python代码:

dbutils.fs.mount(
  source = "wasbs://<your-container-name>@<your-storage-account-name>.blob.core.windows.net",
  mount_point = "/mnt/<mount-name>",
  extra_configs = {"<conf-key>":dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>")})

我被参数困住了:(scope = "<scope-name>", key = "<key-name>") 。我知道为了创建一个范围,我可以遵循此 link ,稍后我想在 Databricks CLI 中导航我的集群并捕获 <scope-name><key-name> 。但是,当我检查集群时,我只获得了范围名称,而在任何地方都找不到键名称,或者至少我不知道如何获取它。

尝试过 Databricks CLI:

enter image description here

在哪里可以生成或找到 <key-name>

最佳答案

我的理解是, key 名称是您尝试从 secret 范围中检索的“事物”。

我猜您创建的是 databricks 支持的 secret 范围,而不是 Azure Key Vault 支持的 secret 范围?

然后您应该在 secret 范围内实际存储一个 secret 。该 secret 是根据“ key ”(令人困惑的术语)存储的。

https://docs.azuredatabricks.net/user-guide/secrets/secrets.html#create-a-secret-in-a-databricks-backed-scope

您拥有的代码正在尝试从 secret 范围中检索该 secret 并将其分配给 <conf-key>在那个 json 中。

看看这个例子 https://docs.azuredatabricks.net/user-guide/secrets/example-secret-workflow.html#use-the-secrets-in-a-notebook

val jdbcUsername = dbutils.secrets.get(scope = "jdbc", key = "username")

在此之前,您需要创建一个 key 保管库,其中包含您已填充的 secret 名称​​用户名。然后这段代码会检索它

所以......你首先需要真正知道你想要反对什么,然后将其放入 secret 范围内。

举个例子,您可以通过简单地在代码中硬编码该设置来使代码更简单,但非常不安全

关于Azure Databricks 安装 Blob 存储,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54207723/

相关文章:

azure - 是否有一个 API 可以列出所有 Azure 区域?

linux - Azure Linux VM 上的 OpenSSH SSH-2 私钥(旧 PEM 格式)

azure - Visual Studio 2022 发布窗口未检测身份验证状态

azure - 将 Azure 诊断日志写入 Blob 存储的性能影响

java - Databricks Spark-csv 检查空文件

unit-testing - 通过单元测试

c# - 如何集成 NLog 将日志写入 Azure Streaming 日志

c# - 使用 Azure 函数 c# 将 json 存储在 blob 存储上

git - Bitbucket 云存储库使用 Databricks 服务主体 git 凭据的存储库访问 token

azure - 如何防止重复条目进入Azure存储的Delta Lake