python - 使用 Python 从 API 获取数据并使用 Azure 数据工厂加载到 Azure SQL 数据仓库中

标签 python azure azure-data-factory

我想在 Azure 中创建一个数据仓库,其中包含来自多个源的信息。输入数据来自不同的 APIS,我想使用 python 访问它们,并且输出应该存储到仓库中。这个过程应该每天更新。

我已经阅读了很多来自 Azure 的文档,但我不明白我需要如何设计这个流程。

第一个问题是:应该在哪里创建 python 进程来从不同的 API 收集数据?在 Azure 数据工厂的管道中还是其他地方?

问候

最佳答案

借助 Azure 数据工厂,您可以使用内置连接器连接到源:https://learn.microsoft.com/en-us/azure/data-factory/copy-activity-overview

通过使用 ADF 中的 V2 服务,您可以安排管道每天在您想要的时间触发。

关于python - 使用 Python 从 API 获取数据并使用 Azure 数据工厂加载到 Azure SQL 数据仓库中,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47795020/

相关文章:

python - 使用带有 Python3 子进程的 ffmpeg 将多个 PNG 转换为视频

Python 在程序退出时修改关闭的文件

python - 有效地将每个图像像素除了最大的 n 个元素之外的所有元素清零

Azure函数无法获取blob容器

azure - 如何将Azure机器学习服务结果导出到Azure SQL DW?

来自 Azure 门户的 Azure AD 管理员同意

azure - 如何从按日期文件夹分区数据的 Azure Data Lake 转换到 Delta Lake

azure - 如何将文件从多个源文件夹复制到 Azure Data Lake Storage gen 2 中的目标文件夹

python 3 : EOF when reading a line (Sublime Text 2 is angry)

azure - 如何比较两个获取元数据的输出