azure - ADLS Gen 1 与 Synapse Notebook Scala

标签 azure azure-data-lake azure-synapse

我无法找到在 synapse 笔记本中连接 ADLS Gen 1 的方法。我已经有 ADLS Gen 1 的现有链接服务。我已经在网上看到了一些文档,但所有文档都与 ADLS Gen 2 有关。请提供一些帮助/引用,以便使用 Scala 使用 Synapse 笔记本连接和读取 ADLS Gen 1 中的 csv/json .

我发现官方文档不支持使用mssparkutils挂载ADLS Gen 1。

最佳答案

您无法安装 Gen1,但可以直接在笔记本中配置连接。这是一个使用 python 的示例,应该很容易转换为 scala。将 fstring 中的任何内容替换为您的实际值。对于您的 clientid/secret,如果您将其存储在 keyvault 中,则可以使用 mssparkutils.credentials.getSecret

spark.conf.set(f"fs.adl.oauth2.access.token.provider.type","ClientCredential")
spark.conf.set(f"fs.adl.account.{gen1Account}.oauth2.client.id", f"{clientId}")
spark.conf.set(f"fs.adl.account.{gen1Account}.oauth2.credential", f"{clientSecret}")
spark.conf.set(f"fs.adl.account.{gen1Account}.oauth2.refresh.url", f"https://login.microsoftonline.com/{tenantId}/oauth2/token")

关于azure - ADLS Gen 1 与 Synapse Notebook Scala,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/72232776/

相关文章:

asp.net-mvc - 用于本地主机和生产的 Azure Active Directory 应用程序注册

azure - 在 Azure 中每隔几分钟访问一次不记名 token

java - 在 Java 中从 Azure B2C Active 中删除用户 [graphClient.users(user-id).buildRequest().delete()]

Azure VMSS 通过 Terraform azapi 手动升级

c# - 如何创建文件或将文件上传到 Azure Data Lake Storage Gen2

csv - 由于某些字段中存在意外换行,SQL COPY INTO 无法解析 CSV。 ROWTERMINATOR 和 FIELDQUOTE 参数不起作用

azure - 从 Azure Blob 存储中的 DLL 创建 USQL 程序集

json - 用于 JSON 转换的 U-SQL 脚本

python - Azure Synapse Notebook 对认知服务转换器的请求

azure-synapse - WaitFor 延迟在 Azure SQL DW 中不起作用