azure - 使用 Azure 数据工厂 V2 按 LastModifiedDate 复制新文件和更改的文件

标签 azure azure-data-factory

使用复制事件,我只需要获取文件夹中的最新文件。

示例: 文件夹

文件1

文件2 其中 File2 是最新的。

但是,它正在获取两个文件。

我关注了: https://learn.microsoft.com/en-us/azure/data-factory/solution-template-copy-new-files-lastmodifieddate

还在源数据集中尝试过>连接>按上次修改进行过滤

Start Date: @adddays(utcnow(),-31)

End Date: utcnow()

我希望仅在指定的日期范围内获取最后修改的文件。

最佳答案

我的粗略想法是使用这样的流程:获取元数据事件-->Azure函数事件-->复制事件。

第1步:使用Metadata Activity获取指定范围日期内特定文件夹中文件的最后修改日期时间。

第二步:将输出数组传递给 azure function activity ,使用冒泡排序(或其他比较算法)获取最新修改的文​​件名并过滤其他文件名。输出该文件名。

第三步:将文件名传递给复制事件进行传输。

从这个案例中你可以得到一些类似的线索:https://social.msdn.microsoft.com/Forums/en-US/affdcb44-6a8c-4b20-8e2e-6da20ab86c32/default-sorting-of-get-metadata-activity?forum=AzureDataFactory

关于azure - 使用 Azure 数据工厂 V2 按 LastModifiedDate 复制新文件和更改的文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57374617/

相关文章:

Azure PowerShell - 无法识别资源组

asp.net-mvc - Azure部署

azure - 如何在 Azure 数据工厂数据流模型中替换 Json 中的特定字符串

c# - 从文件流上传到 ADLS

Azure数据工厂-从列值执行数学运算

Azure API管理和App Function后端: Backend with id 'foo' could not be found

c# - Azure B2C 如何检索内置用户声明/属性

azure - 如何比较两个获取元数据的输出

azure - ADF 无法连接到 Synapse Link SQL 池外部表

Azure 诊断 - 如何获取性能计数器原始数据