azure - ADF 分页规则从 REST API 获取总行数并添加为结束条件

标签 azure azure-data-factory azure-rest-api

我已经创建了一个restAPI连接,其基本URL:https://heineken-dev.collibra.com/rest/2.0/assets?offset={offset}

在副本数据事件源分页规则中,我添加了如下内容。 paginationRule

但是在restAPI结果集中:total: 14518这是记录总数。 我想将总数 14518 放入偏移量的最终条件。有人可以帮我做到这一点吗?

提前致谢!!

最佳答案

ADF pagination rule to get total row count from rest API and add as end condition.

根据您在其余 API 结果集中的要求,您将获得 total: 14518 这是记录总数。并且您希望最终使用它情况。

要实现这一目标:

here I am using this sample Rest Api

  • 首先,您需要从 Web Activity 获取 api 的结果集。 enter image description here 结果集:在这里您将得到总计:14518 enter image description here
  • 现在在复制事件中设置分页规则如下: 将Renge设置为1::1000,这样它将在偏移量1000处无限循环url,并将结束条件设置为MaxRequestNumber:@string(activity('Web1').output .total_pages) 因此当达到最大请求数时它将结束循环。 enter image description here

更新

更新其他社区成员的答案。通过添加 $.total 同意 @Sukanya,total 的值将从最终条件下的其余 API 响应中获取,如下所示:

enter image description here

关于azure - ADF 分页规则从 REST API 获取总行数并添加为结束条件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/76042047/

相关文章:

azure - 使用 Azure Redis 缓存配置 Gitlab 时出现错误

Azure DevOps 管道使用 API 的服务主体进行身份验证

azure - 导出多个 Azure AD 组成员

Azure 函数从 Azure 应用程序配置配置计时器触发器

javascript - 如何使用 Javascript/JQuery 使用 X509 证书发出 REST 请求?

azure - 将 DocumentDB 集合移动到 Azure Data Lake Storage

azure - ADF : find pipelines by sink resource

Azure 数据工厂复制数据管道停留在“进行中”状态;但甚至没有加载任何数据

azure - 如何在没有服务主体的情况下访问 Azure REST API?

azure - 用于事件运行的 ADF REST API 不返回数据