azure - 将最新文件夹中的文件从 azure blob 存储加载到 azure 数据仓库

标签 azure azure-blob-storage azure-synapse

我是 Azure 新手,每天都会通过 SFTP 将 150 个 CSV 文件存储到 Blob 存储中,并且每天将它们存储在单独的容器中。容器编号为0000、00001、00002,包含日常文件。如何将最新文件夹中的文件加载到 azure 数据仓库中。如何将复制事件动态指向最新文件夹。最好的方法是什么?非常感谢您的帮助。

最佳答案

不幸的是,没有直接的方法来查找最新的 blob 容器。

考虑到每天都会创建一个新的 Blob 容器,并且 Blob 容器名称按顺序排列,查找最新 Blob 容器的唯一方法是列出存储帐户中的所有 Blob 容器,或者采用结果中的最后一个 Blob 容器设置或按降序对结果进行排序,并取第一个来查找最新的 blob 容器。

Blob 容器上有一个Last Modified Date 属性,但每当 Blob 容器发生更改时,该属性都会发生变化,因此您无法真正可靠地使用它来查找最新的 Blob 容器。同样,为此您需要列出 blob 容器(您根本无法避免此步骤)。

关于azure - 将最新文件夹中的文件从 azure blob 存储加载到 azure 数据仓库,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60357512/

相关文章:

azure - 如何使用 Azure CLI 命令获取虚拟机的公共(public) IP 地址

cookies - Cookie 未通过 Ajax 请求发送

node.js - 是否可以向 azure Blob 添加过滤器

azure - Golang 通过多部分处理图像并流式传输到 Azure

azure - 将流写入 blob 时租用 blob,直至完成

azure - 一个源到多个汇的 azure 突触管道?

sql-server - Azure Synapse 无服务器 SQL 池无法连接但可以连接到专用 SQL 池吗?

c# - 如何使用c#客户端获取azure token ?

python - 将 Json 数据写入 Azure Synapse PySpark Notebook 中的文件

powershell - 如何在 session 之间保留 AzureRMAccount