azure-data-factory - Azure 数据工厂 - 基于事件的多个文件/blob 的触发器

标签 azure-data-factory azure-data-factory-2 azure-blob-storage azure-blob-trigger

当在 blob 容器内的文件夹中创建新文件/blob 时,我通过基于事件的触发器调用 ADF V2 管道。

Blob 容器结构:

BlobContainer ->
文件夹名称 ->

-> File1.csv

-> File2.csv

-> File3.csv

我已经使用以下配置创建了触发器:

容器名称:BlobContainer

Blob 路径以:FolderName/开头

Blob 路径以:.csv 结尾

事件检查:Blob 创建

Trigger Screenshot

问题:文件夹中临时创建了三个 csv 文件。调用管道的触发器运行 3 次(可能是因为创建了 3 个 blob)。管道实际上将文件移动到另一个 blob 容器中。因此第 1 次触发运行成功,其余 2 次失败,因为文件已被移动。 但是,如何配置触发器,使其即使在其中创建了 3 个文件,每个文件夹也只运行一次?

因为这些文件是一起生成的,所以我需要使用 ADF 将它们一起移动到一个新位置。

最佳答案

您的 blobEventTrigger 触发了每个文件的管道,为此,您可以使用“查找事件”获取文件名,然后使用过滤器事件,过滤所需的文件名并提供可以在 IF 事件中检查的 filterdItemCounts 属性。当没有文件时,filterdItemCounts 返回 '0' 并且您的管道未触发。

概括-
查找事件 -> 过滤事件 -> IF 事件 -> 你的管道

关于azure-data-factory - Azure 数据工厂 - 基于事件的多个文件/blob 的触发器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58931406/

相关文章:

azure - 在复制事件中过滤 blob 数据

powershell - 使用 Azure Powershell Runbook 在 Azure 数据湖存储上将 Csv 文件转换为 Xml

azure-data-factory - Azure 数据工厂 v2 : Customize execute pipeline activity

azure-data-factory - 使数据工厂中的管道失败的最简单方法?

azure - ADF - 如何将具有不同标题的多个 CSV 加载到一个目标表中

sql-server - 将本地 SQL Server 数据库数据以 Parquet 格式复制到 Azure

azure-data-factory - azure 数据工厂获取查找事件错误输出

azure - 相当于使用 Azure Blob 存储的基于 S3 浏览器的 POST 策略吗?

c# - 尝试删除 Azure Functions 中的 blob,但缺少 DeleteIfExists 方法

azure - 在 Azure 数据工厂副本中使用追加 blob 是否有任何解决方法?