azure - 将所有 API 结果提取到单个 CSV 文件 Azure 数据工厂

标签 azure logic azure-data-factory httpresponse

我收到了来自 API 的 JSON 响应,并且在名为“数据”的部分中包含了一堆项目信息。在此部分中,您将找到“ReleasePackageId”、“名称”和“版本”等详细信息。此外,响应还包含一些分页内容,例如“TotalCount”、“PageIndex”和“PageSize”。

我想要做的是使用 Azure 数据工厂从所有这些 API 数据中创建一个 CSV 文件。但事情是这样的:API 以 block 的形式提供数据,并且每次的项目总数可能不同(现在是 88)。因此,我需要处理这些 block 并将所有内容放入一个 CSV 中。

在 ADF 的世界中,我可以使用一些帮助以最智能的方式来浏览这些分块的 API 响应并获取数据。有什么建议吗?

enter image description here

enter image description here

最佳答案

使用 ADF 将 API 结果提取到单个 CSV 文件中的方法有两种

<强>1。如果您的 API 包含分页,那么您可以使用 Rest API connector在 api 上分页并获取结果并将结果存储在 CSV 文件中

  • 首先使用 REST API 连接器创建链接服务,并使用分页设置您的 API enter image description here
  • 在源代码中根据您的要求设置分页。 enter image description here
  • 将接收器设置为 CSV 文件并相应设置正确的映射。 enter image description here
  • 输出 enter image description here

<强>2。如果您想将复制事件中来自 Http Connector 的数据存储到单个 CSV 文件中。

  • 首先在 for every use 复制事件下,将源与 API 一起添加为 HTTP 连接器,并将数据存储到 Json 文件中。 enter image description here

  • 通过正确的映射,将其存储在 blob 存储中的 json 文件中。 enter image description here

  • 进行另一次复制事件,将该 Json 文件合并到单个 CSV 文件以及正确的映射。 enter image description here enter image description here

  • 输出 enter image description here

关于azure - 将所有 API 结果提取到单个 CSV 文件 Azure 数据工厂,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/76908896/

相关文章:

azure - 无法在配置了 ACS 进行身份验证的 MVC 4 应用程序中显示主页?

azure - 检索 Synapse 服务主体的应用程序 ID 并使用 Bicep 添加为 AAS 管理员

unit-testing - WP7 3层架构单元测试

asp.net - ASP.NET逻辑/连接池和错误处理

Azure 数据工厂管道进入压缩 Parquet 文件 : “java.lang.OutOfMemoryError:Java heap space”

azure - 使用 OAuth2 从 Azure 数据工厂向 Azure DevOps 发出 REST API 请求

azure - 如何将 AKS 日志发送到 eventhub?

软件验证逻辑

Javascript递归对象迭代生成表单元素名称

json - azure 数据工厂: how to merge all files of a folder into one file