azure - 将 Delta Lake 从 Azure 迁移到 GCP

标签 azure databricks delta-lake

我们正在寻求将 Delta Lake 从 Azure 迁移到 GCP。 到目前为止,我们正在考虑将增量文件从一个 ADLS 存储桶移动到 GCS 存储桶。我们相信可能还有更多。 我们正在寻找进行迁移的方法、最佳实践和提示。有人可以帮忙吗?

最佳答案

您可能想检查sources and sinks of the Cloud Storage Transfer Service 。其中一个来源是 Azure Blob 存储,包括 Azure Data Lake Storage Gen2 - 我不知道这是否对您的情况有帮助。还有一些documentation about access configuration .

所有其他详细信息 - 取决于您的情况,并且很难提供一般性答案。

关于azure - 将 Delta Lake 从 Azure 迁移到 GCP,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/74551737/

相关文章:

android - 从 Windows Azure blob 下载图像?

python-3.x - 从 PyCharm IDE 执行 databricks 魔术命令

scala - 将重试添加到 future 序列中,以便在 Scala 中并行运行 Databricks 笔记本

apache-spark - EMR 和 S3 上的 Delta Lake (OSS) 表 - Vacuum 需要很长时间,没有工作

python - 有没有更快的方法使用 python 将数据帧插入到 SQL 中?

azure - Azure 数据工厂和 SSIS 中的事务

c# - 如何从 Azure 函数中获取多个 blob?

pyspark - Databricks - 显示数据框并打印字符串

sql - 即使条件不满足,Delta Lake MERGE/UPDATE 也会重写数据

database - 德尔塔湖 : How to Time Travel infinitely across Datasets?