Azure 数据工厂与 Azure 逻辑应用

标签 azure azure-data-factory azure-logic-apps data-warehouse

尝试自学一些 ETL 技能,并需要一些帮助来了解完成某些任务的最佳方法。我正在尝试将我们的客户服务平台 Freshdesk 中的数据引入我们的 SQL 数据仓库。我们是一家微软公司,我使用 Microsoft Azure 数据工厂和 Microsoft 逻辑应用程序完成了一些类似的任务。逻辑应用程序代码量低/无代码,而且更直观,所以我现在尝试使用它。然而,我觉得数据工厂可能是最有效的方法(尽管目前还不能 100% 确定如何做到这一点)。任何帮助或正确方向的指出都值得赞赏。

最佳答案

Azure 数据工厂

If a large volume of data has to be moved from a data lake or an enterprise data warehouse (EDW) to Azure. For big data analytics, you may need to import large amounts of data into Azure from several sources. It is critical to achieve optimal performance and scalability in each circumstance.

此外,在复制事件中,您可以考虑增加 DTU/并行复制选项,这可以帮助您increase copy performance .

逻辑应用

在进行重复事件时,现代数据平台逻辑应用程序非常棒。有多种可用的连接器,看来您使用逻辑应用程序所能完成的任务的唯一限制就是您自己的想象力。

Event-Driven Architecture (EDA)范式涉及生成-

Detection, consumption, and reaction of events. Users commonly need to activate pipelines based on storage account events, such as the arrival or deletion of a file in an Azure Blob Storage account, in data integration scenarios.

因此,Azure 数据工厂将是比 Azure 逻辑应用更好的选择,但当涉及到重复性任务时,我们可以使用 Azure 逻辑应用通过 ADF 来编排 ETL。采用哪一个的决定将在很大程度上受到当前案例的影响,并且值得探索将 ADF、逻辑应用程序和其他服务(例如函数)相结合。

关于Azure 数据工厂与 Azure 逻辑应用,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/68913977/

相关文章:

mongodb - 确保云中 MongoDB 传输的安全

c# - Azure 中与 MongoDB 的离线数据同步

java - 如何在 Windows Azure 上部署 Java 应用程序

azure-logic-apps - Microsoft Flow 应用程序是否有任何代码 View ?

azure - 我可以将 Azure Key Vault secret 传递到 Azure 逻辑应用程序中的 SFTP 连接器吗?

azure - 如何在Azure中启用http2?

azure - 使用 Azure 数据工厂获取复制的即时文件名

azure - 当管道需要超过 N 分钟才能完成时,如何为 Azure 数据工厂设置警报

azure - ADF 上的脚本事件与查找事件

azure - 如何修复 "add-member : Cannot add a member with the name "“因为具有该名称的成员已存在”