amazon-s3 - 将许多 S3 存储桶移动到 Glacier

标签 amazon-s3 archiving amazon-glacier

我们有大量的 S3 存储桶,并且正在清理这些东西。我们将 Glacier 确定为存档其数据的好方法。计划是存储这些桶的内容,然后删除它们。 这将是一次性操作,我们不需要自动化的东西。

我知道:

  • 如果有一天我们想要恢复某个存储桶名称,它可能不再可用
  • 每个文件有大约 40kb 的索引开销,这使得它对于小文件来说不是一个经济高效的解决方案,最好使用不经常访问存储类或压缩内容

我试了一下并创建了一个保险库。但是我无法运行 aws glacier 命令。我收到一些显然与 Python 库有关的 SSL 错误,无论我是在我的 Mac 上还是从某个专用容器运行它。

此外,直接使用 Glacier API(并保留正确的文件信息)似乎很痛苦,而且通过专用存储桶使用它更简单。

那个呢?在 AWS 中有什么东西可以做我想做的事吗?或者有什么建议可以用一种不太挑剔的方式来做吗?您会推荐什么工具?

最佳答案

哇,这么多问题!

有两种使用 Amazon Glacier 的方法:

  • 创建 Lifecycle Policy 在 Amazon S3 存储桶上将数据存档到 Glacier。这些对象仍将显示在 S3 中,包括它们的安全性、大小、元数据等。但是,它们的内容存储在 Glacier 中。通过此方法存储在 Glacier 中的数据必须恢复回 S3 才能访问内容。
  • 通过 AWS API 将数据直接发送到 Amazon Glacier。以这种方式发送的数据必须通过 API 恢复。

Amazon Glacier 对存储量收费,加上每个请求。在 Glacier 中存储许多小文件效率较低。相反,建议创建更少、更大的文件的文件(例如zip 文件)。这会使检索特定文件变得更加困难。

如果您打算直接使用 Glacier,使用实用程序会更容易,例如 Cloudberry Backup ,但是这些实用程序旨在从计算机备份到 Glacier。他们可能不会将 S3 备份到 Glacier。

如果数据已经在 Amazon S3 中,最简单的选择是创建生命周期策略。然后您可以使用 S3 管理控制台和标准 S3 工具来访问和恢复数据。

关于amazon-s3 - 将许多 S3 存储桶移动到 Glacier,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43927203/

相关文章:

amazon-web-services - 在 S3 上启用服务器端加密是否会影响使用其他服务从 s3 读取数据

objective-c - 归档/取消归档导致 initForReadingWithData 无法理解的归档

date - 归档时 NLog 不正确的日期

linux - 如何将 Google Drive 备份到 AWS Glacier?

python - AWS 冰川删除作业

python - 通过 pyspark 加载文件名中包含冒号的 Amazon S3 文件

amazon-web-services - aws s3api create-bucket-桶使异常

iPhone —— initWithCoder 是通常指定初始化器设计模式的异常(exception)吗?

python - 使用 Boto 从 AWS Glacier 下载大型文件

javascript - 使用签名 URL 上传到 S3 时获取 403(禁止访问)