azure-data-factory - 独立于 git 用户名运行通过 ADF 连接到 git 的 databricks 笔记本

标签 azure-data-factory databricks azure-databricks azure-git-deployment databricks-repos

在我们编排正在运行的 Databricks 笔记本的公司中,我们通过实验学会了将我们的笔记本(附属于 git 存储库)连接到 ADF 管道,但是,存在一个问题。

正如您在该问题所附的照片中所看到的,笔记本的路径取决于员工用户名,这在生产中不是一个稳定的解决方案。

解决这个问题的解决方案是什么?

  • 更新:主要问题是保持员工用户名不被使用,以避免将来出现任何故障。在 ADF 路径或辅助存储位置中,可以通过查找读取但仍位于生产端。

ADF 中的路径选择: enter image description here

enter image description here

enter image description here

enter image description here

最佳答案

如果您想避免在路径中包含用户名,那么您可以在 Repos 中创建一个文件夹,并在那里进行结帐( here is full instruction ):

  • 在存储库的顶层部分,单击“存储库”标题附近的 ,选择“创建”,然后选择“文件夹”。给它起个名字,比如“Staging”:

enter image description here

  • 在该文件夹内创建存储库

单击“Staging”文件夹附近的,然后单击“创建”并选择“Repo”:

enter image description here

之后,您可以在 ADF UI 中导航到该存储库。

还建议对文件夹设置权限,以便只有特定人员才能更新其中的项目。

关于azure-data-factory - 独立于 git 用户名运行通过 ADF 连接到 git 的 databricks 笔记本,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/70794004/

相关文章:

azure - 如何在 Azure Blob 存储中覆盖后命名 csv 文件

apache-spark - Py4JJavaError : An error occurred while calling o389..csv

azure - 将conf文件添加到Microsoft Azure中的类路径

python - 在 DataBrick 平台中为 PySpark API 安装 IsolationForest 的最佳做法是什么?

azure - 如何将变量从子管道传递到主管道?

azure - 当Azure数据工厂事件超时时,是否可以终止存储过程?

Azure 数据流创建/管理身份关系 key

azure - 如何将保留历史记录(时间戳和版本)的 Databricks 表复制到新订阅中的另一个 Databricks?

azure - 使用 Azure databricks 作业连接到 Azure Cosmos DB Cassandra API 表时出现抽象方法异常

azure - 使用 Azure 数据工厂管道从 Blob 存储中获取元数据 "folder like structure"