azure - for-each 在 azure 数据工厂中一次传递所有文件

标签 azure azure-functions azure-data-factory parallel.foreach

我是 Azure 的新手,我遇到了 for-each 事件的问题。

场景:每天必须将 6 个文件从 Blob 存储复制到 Azure SQL。

第 1 天:供应商 01、交易 01、订单 01、客户 01、购买 01、历史记录 01 第 2 天:供应商 02、交易 02、订单 02、客户 02、购买 02、历史记录 02 ...

问题:我的 for-each 一次多次传递所有文件,而不是循环遍历它们并一次传递每个文件。

理想的世界应该是这样的

  1. 第一个循环:供应商文件
  2. 第二个循环:交易文件
  3. 第三循环:订单文件
  4. 第四循环:客户文件
  5. 第五循环:购买文件
  6. 第六循环:历史文件

当前发生的事情:

  1. 第一个循环:供应商文件、交易文件、订单文件、客户文件、采购文件、历史文件
  2. 第二循环:供应商文件、交易文件、订单文件、客户文件、采购文件、历史文件 ...

这会导致管道失败,因为 for-each 无法正常工作。

父管道

the parent pipline

这里是实际文件的计数 6,这就是管道执行 6 次的原因

enter image description here

这是管道每个循环的计数,它给了我 24 个文件,而不是 3 个类似的文件,或者一次 1 个

enter image description here

我哪里漏掉了一步?

任何反馈都将受到高度赞赏!

先谢谢🙏

最佳答案

也许您可以尝试以下操作:使用通配符路径将文件从 Blob 存储复制到 Azure SQL 中的相应表。

我的测试:

  1. 创建一个变量,类型为数组,值是您的表名。 enter image description here

2.循环这个数组 enter image description here

3.使用通配符路径过滤文件名 enter image description here

4.将@item()传递给数据集作为接收器 enter image description here

关于azure - for-each 在 azure 数据工厂中一次传递所有文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/65983892/

相关文章:

javascript - 为什么我从 HTTPS 域到 HTTP 本地主机的请求会失败 CORS?

azure - 每个管道而不是每个笔记本事件的 Databricks 作业集群

c# - 带有自定义事件的天蓝色数据工厂项目

excel - Azure 逻辑应用程序可以从存储帐户读取 Excel 文件吗?

azure - Azure API Manager ARM 模板中的 Microsoft.ApiManagement/service/diagnostics/loggers

Azure服务总线: Use functions vs service fabric vs web job?

Azure 数据工厂 V2 - If Condition 事件不能包含另一个 If Condition 事件

azure - 如何使用 azure devOps 在 azure 应用服务上部署 nupkg 文件

azure - CosmosDB 存储过程不返回所有文档

azure - 使用 Azure Function 从 SQL DB 检索数据