最近，Databricks 添加了一个新功能 - file trigger 。 但是，此功能似乎需要一个存储帐户来允许所有网络流量。
我的存储帐户配置了防火墙，它拒绝来自未知来源的流量。 Databricks Workspace 已部署到我们的内部网络 - 我们正在使用 Vnet 注入(inject)。所有必要的子网都已列入白名单，通常，存储工作正常，但不能使用文件触发器。 如果我关闭存储防火墙，文件触发器工作正常。 外部位置和 Azure Databricks 连接器配置正确。
我得到的错误:
Invalid credentials for storage location abfss://@.dfs.core.windows.net/. The credentials for the external location in the Unity Catalog cannot be used to read the files from the configured path. Please grant the required permissions.
如果我查看存储帐户中的日志 - 看起来文件触发器列出了来自从 10.120.x.x 开始的私有(private) IP 地址的存储帐户。 如何将此服务列入白名单？我想将我的存储保留在防火墙下。
最佳答案
2023 年 4 月 3 日更新:目前不支持开箱即用的 ADLS 防火墙，解决此问题的工作正在进行中。
documentation 中对此进行了描述- 你需要:
- 通过创建 Databricks 访问连接器来创建托管身份
- 授予此托管身份访问您的存储帐户的权限
- 使用托管身份创建 UC 外部位置
- 向给定的访问连接器授予对存储帐户的访问权限 - 在“网络”中，选择“资源实例”，然后选择资源类型
Microsoft.Databricks/accessConnectors并选择您的 Azure Databricks 访问连接器.
关于azure - Databricks 文件触发器 - 如何将存储防火墙列入白名单，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/75898118/