Azure突触获取元数据

标签 azure azure-data-factory azure-synapse

我正在尝试通过获取元数据事件获取文件夹中所有文件的列表。将此列表传递给 for-each 事件,该事件又执行笔记本。

我有一个二进制数据集,字段列表设置为子项。

管道每次都会崩溃并出现以下错误:

{
    "errorCode": "2011",
    "message": "Blob operation Failed. ContainerName: tmp, path: /tmp/folder/folder1/.",
    "failureType": "UserError",
    "target": "Get Metadata",
    "details": []
}

文件位于“folder/folder1”中。

这不是我第一次使用“获取元数据”事件,到目前为止它一直有效(在 ADF 中)。但我是第一次在 Synapse 中这样做,有什么不同吗?您知道这可能是什么或者我如何解决这个问题吗?

最佳答案

使用获取元数据事件检索任何数据的元数据在Azure 数据工厂Azure Synapse 管道中是相同的。

  1. 使用文件名数据集参数创建二进制数据集。

enter image description here

  • 将二进制数据集连接到“获取元数据”事件。
    • '*'传递给文件名参数值。
    • 选择字段列表下的子项目以获取文件夹中的文件/子文件夹列表。

    enter image description here

  • 输出给出文件夹中的文件列表。
  • enter image description here

    关于Azure突触获取元数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/70418638/

    相关文章:

    azure - 使用 Python SDK 和用户或系统分配的托管标识从 Azure Key Vault 读取 Azure Synapse 中的 secret

    azure - Azure AD B2C 出现错误 "Safari cannot open the page because the address is invalid"

    azure - MSBuild 现在无法解析引用

    azure - 我们可以在 ADF 中编写插入查询查找事件吗

    azure - 如何比较 Azure 数据工厂中的两个 JSON 文件

    Azure 数据工厂 IF 条件的完成时间比其内部事件的完成时间长得多

    Azure Synapse - 增量数据加载

    sql - Azure Synapse - 检索插入的行标识值

    azure - 子网 AzureFirewallSubnet 正在使用且无法删除

    azure - 证书存储访问被拒绝