amazon-web-services - 将大量数据上传到 Azure Blob 存储的最有效方法

标签 amazon-web-services azure azure-functions azure-storage file-transfer

我们经常需要将大型 Assets 包(1GB+)上传到 Azure BlobStorage,稍后再从那里下载。这些软件包需要在存储之前进行压缩,因此不久前我们为办公室购买了一台功能强大的 PC,您可以通过 RDP 将其安装到该 PC 上,以便我们可以及时压缩这些软件包。

我们现在正在考虑重新设计工具,并且此流程现在需要(a) 可扩展,以便多个客户可以使用它,(b) 防灾 strong>,这样,如果我们的办公室被抢劫,整个过程就不会被破坏,并且(c)高效,如果我们有一个解决方案,可以得到 a 点和 b 点,但速度很慢,没有人会使用它.

我一直在考虑编写一个 Azure 函数或 AWS Lambda,我们可以用它来运行 zip 进程,这可以解决 ab 问题,但是这可能需要我们将包上传到存储,在存储中将触发将其压缩并传递的函数。但初始上传过程需要优化,这样我们就不会损失太多速度。

tl;博士

将大型包从本地开发环境上传到 Azure BlobStorage 的最有效方法是什么?

最佳答案

最简单且高性能的解决方案可能是使用 AzCopy(请参阅 https://learn.microsoft.com/en-us/azure/storage/common/storage-use-azcopy-v10 )。 AzCopy 被认为速度很快,它基于 CLI,因此您可以手动运行它或编写脚本,并且它是跨平台的 (Win/Mac/Linux)。它有大量适用于各种情况的选项(阅读文档),并且可以处理各种身份验证方法。它还具有内置的弹性——它会自动重试失败的上传最多 20 次(使用它自己的指数退避逻辑)。

关于amazon-web-services - 将大量数据上传到 Azure Blob 存储的最有效方法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/64703982/

相关文章:

azure - “RetryPolicy”是一个不明确的引用

asp.net-mvc - 关于在 Azure 上托管时触发数据库更新的想法

azure - 仅将一项 Azure 函数部署到 Function Apps(具有多种函数)

azure - 以编程方式从事件网格触发的函数中获取函数应用程序 url

Node.js-扫描 DynamoDB AWS-添加参数

amazon-web-services - SQS 的 AWS put-bucket-notification-configuration 抛出 "Unable to validate the following destination configurations"

amazon-web-services - AWS CodeBuild VPC_CLIENT_ERROR : Unexpected EC2 error: UnauthorizedOperation

amazon-web-services - CloudFormation,AWS Lambda : Ignore Parameter from Old Template

c# - 更新 Azure 表存储中的 RowKey 或 PartitionKey

azure - 如何从我的 Azure Function 引用其他 powershell 函数?