我几乎没有用 python 编写的网络抓取工具来从电子商务网站抓取数据。 我想在 Azure 上运行这些脚本。 最好的出路是什么？我正在研究 Azure 函数和 Azure Webjobs，因为我希望有一个自动计划来触发我的脚本。 考虑到要抓取的数据量巨大，Azure Functions 会不会是一件成本高昂的事情？ 为了完成这项工作，网络作业的可扩展性如何？ 还有其他成本有效的方法来完成任务吗？ (我是 Azure 新手)。
最佳答案
您可以尝试使用 Selenium 和 HTTP 触发器进行网络抓取。
消费套餐和高级套餐的Azure功能费用，您可以引用Azure Functions pricing和Reddit/Azure:Azure hosted Web Scraper, good or bad idea?
您可以引用Run Selenium on azure functions , How to create a Selenium web scraper in Azure Functions , Running webscraping Python file with HTML trigger on Azure和 Create a Website Scraper for Azure Functions
关于Azure 中的 Python Web Scraper，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/68987418/