python - 在Azure上运行Python脚本并保存到SQL数据库

标签 python azure api azure-sql-database etl

我们刚刚注册了 Azure,想知道如何安排和运行 Python 脚本,这些脚本从 API、Web 抓取脚本等各种来源提取数据。Azure 上可以运行和安排这些脚本的最佳工具是什么以及保存到目标目的地。 脚本的输出将保存到数据湖和/或 azure sql 数据库。 谢谢。

最佳答案

Azure 中有多种服务可以完成此任务。

我建议您可以使用azure webjobs (它支持Python并支持按计划运行)。

粗略的指导方针如下:

1.在本地开发Python脚本,确保它可以在本地运行(例如从其他来源提取数据,保存到azure数据库)。

2.在 azure 门户中,Create a scheduled WebJob 。创建时需要上传.py文件(将所有文件压缩成.zip文件); “类型”请选择“触发”;在“触发器”下拉列表中,选择“计划”;然后使用 CRON Expression 指定运行 .py 文件的时间.

3.完成。

您还可以考虑其他 Azure 服务,例如 azure function带时间触发器。但网络作业要容易得多。

希望它有所帮助,如果您还有更多问题,请告诉我。

关于python - 在Azure上运行Python脚本并保存到SQL数据库,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62324808/

相关文章:

python - 我应该将 Python 3.5 降级到 3.4 吗?

azure - AKS - Terraform 的 network_profile block

performance - 为什么从 Azure blob 下载需要这么长时间?

api - FB图错误: "(#100) User must be on whitelist"

javascript - react : How do I move my ajax api call into a separate component?

python - 如何使用python创建一个简单的饼图

python - 将列表元素的关键字与 pandas 列匹配

Python垂直数组切片

angular - 如何在 Angular 中集成具有 SAML SSO 的 Azure AD 应用程序(不应请求用户许可)

java - API 请求只能从 1 个 IP 地址发出