Azure ADF V2 ForEach 文件将数据从 Blob 存储复制到 SQL 表

标签 azure azure-blob-storage azure-data-factory

我需要设计一个 ADF 管道,将在名为“Current”的特定 Blob 存储文件夹路径上创建的 CSV 文件复制到 SQL 表。成功复制后,我必须将文件移动到存档文件夹。

我已完成的事情:我正在使用复制数据事件来复制 CSV 文件并加载到我的 SQL 表中。成功后,另一个复制数据事件会将 CSV 文件从“当前”文件夹复制到“存档”,之后我有一个删除事件,从当前文件夹中删除该文件。

问题:如果一次只有一个文件,这完全没问题。但我想重新设计它来处理多个文件导入。我想利用 ForEach 事件。请帮忙。

最佳答案

您需要在 for-each 之前添加“获取元数据”事件。获取元数据事件将获取当前目录中的文件并将它们传递给 For-Each。将其连接到 Blob 存储文件夹并指定文件掩码。事件的输出需要作为 for-each 循环的输入。像这样的东西..@activity('获取元数据').output。 顺便问一下,您如何触发此 ADF 管道?实现此目的的另一种方法是设置一个事件触发器,以便在该 blob 目录中创建文件时运行此管道。 以下是对存储容器中的文件使用 For-Each 的步骤。

  1. 将“获取元数据”参数设置为“子项” child_items-screenshot
  2. 在 For-Each 中将 Items 设置为 @activity('Get Metadata1').output.childitems

for-each-image

  • 在复制事件中使用的源数据集中创建一个名为 FileName 的参数。
  • filename Parameter

  • 设置要使用参数的文件路径 file path parameter

  • 在复制事件中将 FileName 参数设置为 @item().name enter image description here

  • 要完成此操作,您需要将水槽设置为您需要的任何位置。应该可以了。

    关于Azure ADF V2 ForEach 文件将数据从 Blob 存储复制到 SQL 表,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59635685/

    相关文章:

    azure - 将 Google Analytics 数据导入 Azure Blob/Data Lake 的最佳方式是什么?

    python - Azure Functions Blob 部署

    Azure 数据工厂 |从 SFTP 到 Blob 的增量数据加载

    azure-blob-storage - 使用 SQL 行中的文件名和数据创建 Blob

    azure - 有没有办法将 AKS 群集节点池与可用区域一起放入不同的故障/更新域?

    azure - 使用 Azure SDK 2.8 在 VSO 上托管构建失败

    node.js - Azure 移动应用服务查询限制

    Azure DevOps - 将构建发布的工件部署到 Feed

    c# - 使用 blob 触发的隔离 Azure 函数时如何将 blob 作为流获取?

    azure - Azure数据工厂可以将数据发布到Rest API吗