我有源增量表，它位于我们的开发资源组(如 dev1@dev)的容器上。我需要使用 prod1@prod 将这些数据文件准确地复制到我们的 prod 集群上的另一个存储位置。我们在两个地点都有类似的 t delta 表。我希望产品表具有与 DEV 上的数据相似的数据。我如何在 Azure 上执行此操作？
最佳答案
实现此目的的最简单方法是使用 Delta DEEP CLONE在 Azure Databricks 上执行。其主要优点是:
- 它是事务性的 - 它保证复制完成，否则失败。禁止部分副本等。
- 它是增量式的 - 当您第二次执行它时，它只会复制自上次以来的更改
命令本身可能如下所示:
CREATE OR REPLACE delta.`abfss://dev1@dev..../directory`
DEEP CLONE delta.`abfss://prod1@prod...../directory`
您可以在 blog post 中找到有关 DEEP CLONE 的更多信息
关于azure - 将增量表备份到不同的存储位置，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/70104436/