azure - 将最新文件夹中的文件从 azure blob 存储加载到 azure 数据仓库

标签 azure azure-blob-storage azure-synapse

我是 Azure 新手,每天都会通过 SFTP 将 150 个 CSV 文件存储到 Blob 存储中,并且每天将它们存储在单独的容器中。容器编号为0000、00001、00002,包含日常文件。如何将最新文件夹中的文件加载到 azure 数据仓库中。如何将复制事件动态指向最新文件夹。最好的方法是什么?非常感谢您的帮助。

最佳答案

不幸的是,没有直接的方法来查找最新的 blob 容器。

考虑到每天都会创建一个新的 Blob 容器,并且 Blob 容器名称按顺序排列,查找最新 Blob 容器的唯一方法是列出存储帐户中的所有 Blob 容器,或者采用结果中的最后一个 Blob 容器设置或按降序对结果进行排序,并取第一个来查找最新的 blob 容器。

Blob 容器上有一个Last Modified Date 属性,但每当 Blob 容器发生更改时,该属性都会发生变化,因此您无法真正可靠地使用它来查找最新的 Blob 容器。同样,为此您需要列出 blob 容器(您根本无法避免此步骤)。

关于azure - 将最新文件夹中的文件从 azure blob 存储加载到 azure 数据仓库,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60357512/

相关文章:

azure - 通过Proxy .net core连接Azure存储

azure - ADF 了解案例陈述

sql-server - 我们可以在 Azure SQL 池中创建包含自动增量列的表吗?

sql - 无法创建 Azure SQL 数据仓库

azure - Azure Functions 的筛选器

azure - 我应该如何为我的项目托管服务器?

powershell - Azure 存储 : use AzCopy. exe 将文件夹从 Blob 存储复制到另一个存储帐户

c# - 扩展方法中的 Azure 存储表 ExecuteQuerySegmentedAsync 调用错误

azure - 一段时间后自动删除/过期 Azure Blob

json - 如何从Azure blob中检索Json格式的blob数据?