这可能很简单,但我很难理解 Azure 数据工厂管道的确切触发时间。我按照 MS 教程创建了一个 DF 管道,以将数据从 Blob 复制到 Azure SQL。
我在“3 月 1 日 16:14 IST (10:44 AM UTC)”创建了一个管道,计划如下,
开始日期 - 2017 年 2 月 28 日凌晨 12:00 UTC
结束日期 - UTC 时间 2017 年 3 月 4 日晚上 11:59
1天内重复
创建管道后,它立即运行到下面的窗口,
窗口开始 - 02/28/2017 12:00 AM UTC
窗口结束 - 03/01/2017 12:00 AM UTC
尝试结束 - UTC 时间 2017 年 3 月 1 日上午 10:45
尝试开始 - UTC 时间 2017 年 3 月 1 日上午 10:44
现在我的问题是为什么它没有在窗口(03/01/17 12:00 AM UTC 到 03/02/17 12:00 AM UTC)运行,因为管道仅在该时间窗口之间创建。我的意思是它在最后一天的窗口运行,但不在当天的窗口运行。
那么每个窗口中触发管道的确切时间是多少?
<小时/>按照 Paul 的要求,这里有更多配置值,
管道:
"policy": {
"timeout": "1.00:00:00",
"concurrency": 1,
"executionPriorityOrder": "NewestFirst",
"style": "StartOfInterval",
"retry": 3,
"longRetry": 0,
"longRetryInterval": "00:00:00"
},
"scheduler": {
"frequency": "Day",
"interval": 1
},
"start": "2017-02-28T00:00:00Z",
"end": "2017-03-04T23:59:00Z",
源数据集:
"availability": {
"frequency": "Day",
"interval": 1
},
"external": true,
"policy": {},
目标数据集:
"availability": {
"frequency": "Day",
"interval": 1
},
"external": false,
"policy": {},
下面是执行日志,
Start & End Time
03/01/2017 12:00 AM UTC - 03/02/2017 12:00 AM UTC
Attempt Time : 03/02/2017 12:01 AM
最佳答案
您能否提供管道计划、数据集内部(输入和输出)和复制事件调度程序的 JSON?
这 4 个不同代码块的属性值会影响 ADF 时间片行为。当您配置切片时,您的配置中可能会遗漏一些内容。另请注意,时间片与 SQL 代理计划有很大不同,尽管“计划”的 JSON 属性命名不佳!这是简单的时间线的开始和结束,将按定义的间隔分割。
此外,还有一些设置可以说明运行顺序以及时间片应执行的时间。例如;在开始或结束时。
这是我经常引用的一篇方便的 Microsoft 文章:
https://learn.microsoft.com/en-us/azure/data-factory/data-factory-scheduling-and-execution
希望这有帮助。
关于Azure 数据工厂管道触发时间,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42530377/