我无法找到在 synapse 笔记本中连接 ADLS Gen 1 的方法。我已经有 ADLS Gen 1 的现有链接服务。我已经在网上看到了一些文档,但所有文档都与 ADLS Gen 2 有关。请提供一些帮助/引用,以便使用 Scala 使用 Synapse 笔记本连接和读取 ADLS Gen 1 中的 csv/json .
我发现官方文档不支持使用mssparkutils挂载ADLS Gen 1。
最佳答案
您无法安装 Gen1,但可以直接在笔记本中配置连接。这是一个使用 python 的示例,应该很容易转换为 scala。将 fstring 中的任何内容替换为您的实际值。对于您的 clientid/secret,如果您将其存储在 keyvault 中,则可以使用 mssparkutils.credentials.getSecret
spark.conf.set(f"fs.adl.oauth2.access.token.provider.type","ClientCredential")
spark.conf.set(f"fs.adl.account.{gen1Account}.oauth2.client.id", f"{clientId}")
spark.conf.set(f"fs.adl.account.{gen1Account}.oauth2.credential", f"{clientSecret}")
spark.conf.set(f"fs.adl.account.{gen1Account}.oauth2.refresh.url", f"https://login.microsoftonline.com/{tenantId}/oauth2/token")
关于azure - ADLS Gen 1 与 Synapse Notebook Scala,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/72232776/