azure - 从 Windows Azure 平台上的第三方 Web 服务异步提取数据

标签 azure azure-storage azure-worker-roles

我想经常从不同的第三方 API Web 服务中提取大量数据,并将其存储在暂存区域(这是我现在想要决定的),然后根据需要将其一一移动进入我的应用程序的数据库。

我想知道我可以使用Azure平台来实现上述功能吗?使用 Azure 平台来完成这项任务有多好?

如果拉取的数据量很大,拉取的频率很高,可能是半小时或者每小时拉取2000个不同的用户怎么办?

我认为,如果这一切都是可能的,那么带宽、数据存储和服务器能力等对我来说就不会是一个值得担心的事情,而对©微软来说则更是如此。显然,我应该能够在需要时重新访问数据。

如果我必须在 Windows 服务器上实现它,那么我知道我会使用 Windows 服务来执行此操作。但我不知道如何在 Windows Azure 平台上实现这一点(如果可能的话)?

最佳答案

正如 Rinat 所说,您可以使用 Lokad 的解决方案。如果您选择自己执行此操作,则可以在辅助角色中运行定时任务 - 可能会生成一个休眠线程,每 30 分钟唤醒一次以执行其任务。然后,它可以访问有问题的 Web 服务(或者每个 Web 服务一个线程?)并获取数据。您可以将其临时存储在 Azure 表存储中,这只是 SQL Azure 成本的一小部分(每 GB 0.15),然后轻松地按需从表存储中读取并传输到 SQL Azure。

假设您将服务、存储和 SQL Azure 托管在同一个数据中心(通过适当设置关联性),则您只需在从 Web 服务提取数据时支付带宽费用。从表存储检索或插入 SQL Azure 不会产生带宽费用。

关于azure - 从 Windows Azure 平台上的第三方 Web 服务异步提取数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/3708558/

相关文章:

azure - 如何将已部署的azure辅助角色中的一个dll替换为修改后的版本?

azure - 如何在不重新发布 Azure 辅助角色服务的情况下更新 app.config 文件

azure - 将 Asp.net core mvc 应用程序从 Visual Studio 重新发布到 azure 应用程序服务是否会生成指向实时网站的新链接或与之前的链接相同?

azure - 获取有关 Azure 文件共享文件句柄的详细信息 - Get-AzStorageFileHandle

node.js - Azure:按照文档完成后,使用 Azure REST API 的表 acl GET 不起作用

javascript - 如何取消从 BlobService.createBlockBlobFromBrowserFile 开始的上传?

azure - 使用 Azure 上的 AppFabric 服务总线实现可靠的角色间通信,观察者模式

azure - 如何访问 VMSS 的 Log Analytics 代理扩展的日志?

azure - 如何使用 Terraform 和 Azure 强制删除/释放网络服务组?

azure - 如何获取存储在blob存储中的所有文件名并将其保存到表或csv中