Azure 数据工厂管道触发时间

标签 azure azure-data-factory

这可能很简单,但我很难理解 Azure 数据工厂管道的确切触发时间。我按照 MS 教程创建了一个 DF 管道,以将数据从 Blob 复制到 Azure SQL。

我在“3 月 1 日 16:14 IST (10:44 AM UTC)”创建了一个管道,计划如下,

开始日期 - 2017 年 2 月 28 日凌晨 12:00 UTC

结束日期 - UTC 时间 2017 年 3 月 4 日晚上 11:59

1天内重复

创建管道后,它立即运行到下面的窗口,

窗口开始 - 02/28/2017 12:00 AM UTC

窗口结束 - 03/01/2017 12:00 AM UTC

尝试结束 - UTC 时间 2017 年 3 月 1 日上午 10:45

尝试开始 - UTC 时间 2017 年 3 月 1 日上午 10:44

现在我的问题是为什么它没有在窗口(03/01/17 12:00 AM UTC 到 03/02/17 12:00 AM UTC)运行,因为管道仅在该时间窗口之间创建。我的意思是它在最后一天的窗口运行,但不在当天的窗口运行。

那么每个窗口中触发管道的确切时间是多少?

<小时/>

按照 Paul 的要求,这里有更多配置值,

管道:

"policy": {
            "timeout": "1.00:00:00",
            "concurrency": 1,
            "executionPriorityOrder": "NewestFirst",
            "style": "StartOfInterval",
            "retry": 3,
            "longRetry": 0,
            "longRetryInterval": "00:00:00"
        },
        "scheduler": {
            "frequency": "Day",
            "interval": 1
        },

"start": "2017-02-28T00:00:00Z",
    "end": "2017-03-04T23:59:00Z",

源数据集:

"availability": {
        "frequency": "Day",
        "interval": 1
    },
    "external": true,
    "policy": {},

目标数据集:

"availability": {
        "frequency": "Day",
        "interval": 1
    },
    "external": false,
    "policy": {},

下面是执行日志,

Start & End Time
03/01/2017 12:00 AM UTC - 03/02/2017 12:00 AM UTC
Attempt Time : 03/02/2017 12:01 AM

最佳答案

您能否提供管道计划、数据集内部(输入和输出)和复制事件调度程序的 JSON?

这 4 个不同代码块的属性值会影响 ADF 时间片行为。当您配置切片时,您的配置中可能会遗漏一些内容。另请注意,时间片与 SQL 代理计划有很大不同,尽管“计划”的 JSON 属性命名不佳!这是简单的时间线的开始和结束,将按定义的间隔分割

此外,还有一些设置可以说明运行顺序以及时间片应执行的时间。例如;在开始或结束时。

这是我经常引用的一篇方便的 Microsoft 文章:

https://learn.microsoft.com/en-us/azure/data-factory/data-factory-scheduling-and-execution

希望这有帮助。

关于Azure 数据工厂管道触发时间,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42530377/

相关文章:

azure - Azure 流分析是否适合生成数据仓库事实表和维度表?

azure - 我可以在 Azure 虚拟机中安装集成运行时并将本地服务器添加为链接服务吗?

python - Azure 数据工厂 Python SDK - 将 PipelineResource 转换为 JSON

azure - 如何安全使用Azure Key Vault?

azure - 构建解决方案时不支持 "--output"选项

azure - 数据工厂自托管 IntegrationRuntime 非事件节点

从 SAP Hana 复制到 Data Lake Store 时,Azure Data Pipeline 复制事件丢失列名称

javascript - React App 的 Active Directory 插件出现 CORS 错误

c# - ImageResizer:禁用调整大小的大小限制

azure - 如何使用依赖于 C# 自定义提取类的 Webtest