Azure 数据工厂查询

标签 azure azure-data-factory

案例:- 有一个 URL,我需要从下拉列表中选择一个输入,从下拉列表中选择另一个输入来转换一些数据,再选择一个输入来选择 CSV 格式的数据,然后单击提交按钮,输出为以 CSV 形式生成,因此我需要通过 ADF 自动执行此过程。

我所做的:-我使用 Web 事件和复制事件,使用 POST 方法将 URL 数据加载到 blob 中。但我得到的输出是页面的完整 HTTP 响应。但是,我还创建了用于映射的参数,但它不起作用。仅获取这些参数来选择 URL 中的数据并仅获取选定值输出的解决方案是什么?

最佳答案

数据工厂并不是最适合网页抓取的,这不是它在技术堆栈中的功能。

当我必须从网站获取数据时,我通常做的是 Azure Function 事件。您可以使用您喜欢的语言(python、.net、java、powershell、node 等)创建 Azure 函数,执行 Web 抓取并将所需的任何数据存储在 Blob 存储中。然后,使用 Azure Function Activity 从数据工厂调用该函数。

希望这有帮助!

关于Azure 数据工厂查询,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60785718/

相关文章:

Azure Functions - 消耗计划和冷启动

azure - 为什么 Foreach 循环内的 SetVariable 未按 Azure 数据工厂中的预期进行迭代

sql-server - 与 Azure SQL 数据库连接时,Azure 数据工厂中“超出锁定请求超时期限”

azure - 如何在 Azure Devops 中为生产版本创建单独的构建工件

azure - Azure 数据工厂管道登录特定 URL 的技术是什么

Azure 数据工厂导入多个有值(value)的查找字段

azure - 我们可以使用 Azure 托管 IR 将本地 Oracle 服务器连接到数据工厂并将其用作源和接收器吗?

c# - CosmosDb - 返回 null 属性 .NET

azure - Powershell - 在模块中找到命令,但无法加载模块

azure - 如何将云上托管的 MySQL 数据库连接到 Azure 数据工厂?