azure - 如何处理 ADF v2 中并行复制事件的失败?

标签 azure azure-data-factory

我计划迭代连接字符串列表,以并行地将数据从一个源更新插入到多个接收器。因此,我将在此处抽象复制事件并参数化连接字符串值。然后,主管道将迭代连接字符串并将值传递给抽象的复制事件。

场景:其中一项并行复制事件失败。如何处理个别故障?

  • 选项 1:中止所有并行管道以维持我的 下沉到一致的状态。这可以在 Azure 数据中执行吗 工厂?

  • 选项 2:如果我选择让其他管道写入数据 到水槽,我是否必须手动处理失败的切片?我是 在这里为主管道选择翻滚窗口触发器。

请帮助我弄清楚以尽可能最好的方式处理它。

最佳答案

最佳实践是将您的事件放在单独的管道中的 foreach 循环中,然后在 foreach 中调用执行管道事件。 这样,每个执行都会被单独处理,并且在监控 View 中,您将清楚地了解哪一个执行失败了。

关于azure - 如何处理 ADF v2 中并行复制事件的失败?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59398935/

相关文章:

azure - 有没有办法将 Azure Cosmos DB 吞吐量设置为低于 400 RU/s?

c# - Azure数据湖授权

azure - 从 Azure 中的数据工厂在 ADL 存储中执行 U-SQL 脚本

python - 在 Azure 数据工厂中使用没有 DataBricks 的 Jupyter 笔记本?

azure - 来自 Windows Azure 的 HTTP 伪流

azure - 从 k8s 解析 yaml 配置映射数据

azure - 在某些 Synapse Serverless View 上授予登录 SELECT 权限,但无法在*整个* Datalake 上运行 OPENROWSET

azure - 如何为 adf 中的一列添加多个 case 语句?

Azure SSIS 包 - 执行 SQL 任务

postgresql - 从数据工厂读取 Postgress(以 SQL_ASCII 编码)