我开始使用 Azure 数据工厂将一些本地运营数据迁移到 Azure Blob。我有几个复杂的(我认为是的)拼图。
我有 8 个数据库,每个数据库都是相同的(我们的操作系统在 8 个不同的站点上运行,每个站点都有自己的数据库),但仅包含与该站点相关的数据。
我需要将这些站点的数据合并在一起。例如,一个名为“人员”的表,当我报告“人员”时,我需要一个包含来自每个站点的所有人员的表。我在当前的本地数据仓库中使用 UNION ALL SQL 查询实现了这一目标,但由于有超过 60 个查询,这些查询变得难以维护,因为它们每年都会因我们的业务运营方式而发生变化。
我对实现这一目标的最佳/最简单方法感到困惑,并且希望能找到正确的方向。
最佳答案
作为@HimanshuSinha-msft,您可以参数化链接的服务。
在管道中,我们可以定义一个数组类型参数
servers
并输入[{"server":"<server-name1>","db":"<dbname1>"},{"server":"server-name2","db":"<dbname2>"}, ...]
。这是我定义的数据结构。然后我们就可以在Foreach事件中通过
@pipeline().parameters.servers
来遍历这个数组参数了。
通过这些步骤,我们可以使用一个复制事件将数据从多个不同的 SQL Server 复制到一个 Azure SQL。因为我们动态传入了连接参数的值。
关于azure - 将数据从本地 SQL 服务器复制并合并到 Azure blob,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/65892513/