azure - 如何实现一个管道,其中每个管道内的事件针对查找值输出数组的特定子集运行?

标签 azure azure-data-factory data-engineering

我有一个来自查找值事件的数组输出 (len = 503 ),它基本上是从 CSV 文件中获取字符串。这些字符串是 foreach 中我的数据流事件的参数。

当前的 adf 管道:

current adf pipeline as shown

我现在想要为数组中的前 n 个字符串中的每个字符串运行一个数据流。我想为前 50 个或最后 100 个运行管道。如何对查找事件数组进行子集化并在每个动态或随时间变化的数据流上运行迭代?片段将不胜感激。

我尝试在每个事件的 items 选项卡中使用 range func 并使用 @item.'name' 来获取该迭代中的当前值

最佳答案

由于您想要从查找数组中给出前 n 个元素的数组,因此可以在 ForEach 表达式中使用 take()

这里,我的查找输出数组长度为 10,我将前 5 个元素提供给 ForEach。

@take(activity('Lookup1').output.value,5)

enter image description here

通过查看迭代次数,您可以看到它从查找数组中取出了前 5 个元素。

enter image description here

如果您想获取最后 n 个字符串数组,请使用 skip()

在这里,我想给出查找数组中的最后 6 个元素。这意味着我的起始值应该从第 5 个元素开始,即索引 4。因此,给出起始值的索引,它将通过跳过索引之前的元素来给出所需的数组。

@skip(activity('Lookup1').output.value, 4)

enter image description here

关于azure - 如何实现一个管道,其中每个管道内的事件针对查找值输出数组的特定子集运行?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/77093697/

相关文章:

azure - 虚拟文件集列和行集变量 U-SQL

azure - 如何解决 Azure 数据工厂 ARM 模板参数限制?

azure - 使用 Azure 数据工厂复制文件并放置复制的文件的 csv

azure - 如何在 iOS 设备和 Windows 中使用 Windows Azure 媒体服务编码的 ism 文件来平滑流传输?

python - Microsoft Graph 身份验证

Azure Kubernetes 服务 : Setup an Internal load balancer with static IP address

SQL Server : How to create hierarchy combinations from a table