azure - 创建依赖项管道以检查 ADF 中的文件是否为最新文件

标签 azure azure-data-factory

我正在尝试在执行模型刷新(Web 事件)之前为文件创建依赖项管道,我想确保所有相关文件都位于各自的文件夹中,并且所有文件都是最新的。

假设我的模型刷新使用 adls 中存在的以下文件-

  1. myadls/raw/master/file1.csv
  2. myadls/raw/dim/file2.csv
  3. myadls/raw/dim/file3.csv
  4. myadls/raw/reporting/file4.csv

我们需要将上次修改的文件与今天的日期进行比较。如果两者相等,则文件是最新的。如果任何文件不是最新的,那么我需要一封文件名不是最新的电子邮件,并且我不应该触发通常会刷新模型的网络事件。

我使用获取元数据为每个事件、If 条件、Web 事件和设置变量事件创建了此管道。但问题是我无法收到该文件的电子邮件,该文件不是最新的。

根据我的情况,我如何才能收到不是最新文件的文件的电子邮件?

请注意,上述文件夹可以包含超过 100 个文件,但我只查找我在模型中使用的特定文件。

最佳答案

我们使用 SendGrid API 在我的公司发送电子邮件。

您可以使用任何电子邮件 API 轻松地在电子邮件正文中传递文件名。您可以将文件名写入变量,然后在正文中引用该变量。听起来您几乎已经构建了所有内容,因此在 ForEach 中,只需添加一个“附加到变量”步骤即可将新值写入数组变量。然后您可以在 SendEmail Web Activity 中使用这些数组值,或者使用字符串转换函数,有很多方法可以实现。

稍后我将用示例更新这篇文章

关于azure - 创建依赖项管道以检查 ADF 中的文件是否为最新文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/68540524/

相关文章:

azure - ADF 将字符串转换为 Json 对象

sql-server - 如何使用复制事件中的预复制脚本根据源中的更改跟踪表删除接收器中的记录?

具有 Azure 应用程序网关和虚拟机的 Azure DevOps 发布管道

azure - 在 Azure 中为控制台应用程序安排作业

azure - Azure 区域之间的数据传输如何进行?

Azure Redis 缓存卡在“创建”中

azure - 迭代 ADF 中存在限制的 API

Azure 数据工厂按文件大小拆分文件

azure-data-factory - GetMetadata 获取 Azure 数据工厂中的完整文件目录

android - Azure 客户端 IServiceFilter 不起作用