azure - 访问元数据会导致 Azure 数据工厂的嵌套管道

标签 azure foreach azure-data-factory

我构建了一个管道,可以从 blob 容器子文件夹 raw/subfolder 中读取元数据。然后,我使用另一个获取元数据任务执行 foreach 循环来获取每个子文件夹的数据,它返回以下类型的数据。/raw/subfolder1/folder1、/raw/subfolder2/folder1、/raw/subfolder2/folder1 等。我需要另一个 foreach 循环来访问每个文件夹内的文件。问题是您无法在另一个 foreach 循环内运行 foreach 循环,因此我无法进一步迭代这些文件。

我有一个执行数据管道,它调用上述管道,然后使用 foreach。我的问题是,我没有找到将 item().name 从上述迭代传递到新管道的方法。您似乎无法从之前的管道中传递对象?我如何才能完成这种嵌套的 foreach 元数据收集,以便我可以进一步迭代我的文件?

最佳答案

您尝试过使用参数吗?其外观如下:

  1. 在您的父管道中,点击“执行管道”事件,该事件会触发内部(您的新管道),转至“设置”并指定项目名称作为参数“名称”。 enter image description here
  2. 在内部管道中,单击空白处的任意位置并添加新参数“名称”。 enter image description here
  3. 现在您可以像这样引用该参数:pipeline().parameters.name

关于azure - 访问元数据会导致 Azure 数据工厂的嵌套管道,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61417698/

相关文章:

azure - 解析 JSON 时出错 : invalid character 'Â' looking for beginning of value while creating azure data factory source dataset

Azure Verizon CDN - 100% 缓存 CONFIG_NOCACHE

c# - excel 文件托管在 Azure Blob 上,如何将其读入 FileStream?

xaml - 如何确定 Windows UWP 应用程序的正确回复 URL?

java - 为什么我不能减少 ArrayList/LinkedList 中的所有元素

c# - 为什么在 GetCurrent 之前调用 IEnumerator.MoveNext?

德国中部地区的 Azure WebApps 和 CosmosDB 未显示

在并行 R 中运行多个并行进程

azure - 如何在单个数据流中使用多个缓存接收器并在管道中使用两个接收器的输出?

linux - 如何为基于 Linux 的数据库服务器设置 Azure 自托管集成运行时