我无法从 Databrikcs 访问 Azure Data Lake Storage。
我没有高级 Azure Databricks 服务。我正在尝试根据最新文档直接访问 ADLS Gen 2:https://learn.microsoft.com/en-us/azure/databricks/data/data-sources/azure/adls-gen2/azure-datalake-gen2-sp-access#access-adls-gen2-directly
- 我已授予此帐户服务原则“贡献者权限”
这是来自笔记本的错误消息:
操作失败:“此请求无权使用此权限执行此操作。”，403，GET，https://geolocationinc.dfs.core.windows.net/instruments?upn= false&resource=filesystem&maxResults=500&timeout=90&recursive=false, AuthorizationPermissionMismatch, "此请求无权使用此权限执行此操作。 ...;
这是我的 Spark 配置设置:
spark.conf.set("fs.azure.account.oauth.provider.type.<storage-account-name>.dfs.core.windows.net", "org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider")
spark.conf.set("fs.azure.account.oauth2.client.id.<storage-account-name>.dfs.core.windows.net", "<application-id>")
spark.conf.set("fs.azure.account.oauth2.client.secret.<storage-account-name>.dfs.core.windows.net", dbutils.secrets.get(scope="<scope-name>",key="<service-credential-key-name>"))
spark.conf.set("fs.azure.account.oauth2.client.endpoint.<storage-account-name>.dfs.core.windows.net", "https://login.microsoftonline.com/<directory-id>/oauth2/token")```
最佳答案
正确的角色是“存储 Blob 数据贡献者”而不是“贡献者”。
关于从 Databricks 访问 Azure 数据存储，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/71417291/