azure - 将数据从本地 SQL 服务器复制并合并到 Azure blob

标签 azure azure-data-factory

我开始使用 Azure 数据工厂将一些本地运营数据迁移到 Azure Blob。我有几个复杂的(我认为是的)拼图。

我有 8 个数据库,每个数据库都是相同的(我们的操作系统在 8 个不同的站点上运行,每个站点都有自己的数据库),但仅包含与该站点相关的数据。

我需要将这些站点的数据合并在一起。例如,一个名为“人员”的表,当我报告“人员”时,我需要一个包含来自每个站点的所有人员的表。我在当前的本地数据仓库中使用 UNION ALL SQL 查询实现了这一目标,但由于有超过 60 个查询,这些查询变得难以维护,因为它们每年都会因我们的业务运营方式而发生变化。

我对实现这一目标的最佳/最简单方法感到困惑,并且希望能找到正确的方向。

最佳答案

作为@HimanshuSinha-msft,您可以参数化链接的服务。

  1. 我们可以添加serverdb链接服务的参数。
    enter image description here

  2. 在管道中,我们可以定义一个数组类型参数servers并输入 [{"server":"<server-name1>","db":"<dbname1>"},{"server":"server-name2","db":"<dbname2>"}, ...] 。这是我定义的数据结构。 enter image description here

  3. 然后我们就可以在Foreach事件中通过 @pipeline().parameters.servers 来遍历这个数组参数了。 enter image description here

  4. 在 Foreach 事件中,我们需要向 Copy 事件的源数据集添加两个参数。 enter image description here

  5. 然后我们可以将动态内容添加到源数据集中。 enter image description here

通过这些步骤,我们可以使用一个复制事件将数据从多个不同的 SQL Server 复制到一个 Azure SQL。因为我们动态传入了连接参数的值。

关于azure - 将数据从本地 SQL 服务器复制并合并到 Azure blob,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/65892513/

相关文章:

具有多个标签的 Azure DevOps Docker 任务

azure - 未找到领域(ACS、ADDS、AD FS)

azure - 数据工厂复制数据而不显式创建目标表

Azure 数据工厂从文件夹开始的副本

azure - 如何导入现有的数据工厂ARM模板?

asp.net - 网站转换为 Web 应用程序 - Azure 问题

c# - 如何将来自物联网设备的消息路由到 IoT Edge 设备?

azure - 允许从 Azure K8S Pod 连接 AWS RDS

database - Azure 数据工厂 - Dynamics 365 复制数据复制 GUID 值而不显示值

Azure 数据工厂逻辑函数表达式无效