案例:- 有一个 URL,我需要从下拉列表中选择一个输入,从下拉列表中选择另一个输入来转换一些数据,再选择一个输入来选择 CSV 格式的数据,然后单击提交按钮,输出为以 CSV 形式生成,因此我需要通过 ADF 自动执行此过程。
我所做的:-我使用 Web 事件和复制事件,使用 POST 方法将 URL 数据加载到 blob 中。但我得到的输出是页面的完整 HTTP 响应。但是,我还创建了用于映射的参数,但它不起作用。仅获取这些参数来选择 URL 中的数据并仅获取选定值输出的解决方案是什么?
最佳答案
数据工厂并不是最适合网页抓取的,这不是它在技术堆栈中的功能。
当我必须从网站获取数据时,我通常做的是 Azure Function 事件。您可以使用您喜欢的语言(python、.net、java、powershell、node 等)创建 Azure 函数,执行 Web 抓取并将所需的任何数据存储在 Blob 存储中。然后,使用 Azure Function Activity 从数据工厂调用该函数。
希望这有帮助!
关于Azure 数据工厂查询,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60785718/