我正在将我的数据从 Amazon-S3 迁移到 Google-Cloud Storage。 我使用 gsutil 复制了我的数据:
$ gsutil cp -R s3://my_bucket/* gs://my_bucket
我接下来要做的是检查 S3 中的所有文件是否正确存在于 Google 存储中。
目前我所做的只是在文件中打印文件列表，然后执行简单的 Unix diff 但这并没有真正检查文件完整性。
检查它的好方法是什么？
最佳答案
gsutil 验证在云提供商之间复制的对象的 MD5 校验和，因此如果递归复制命令成功完成(shell 返回代码 0)，您应该已成功复制所有内容。请注意，gsutil 无法比较大于 5 GiB 的 S3 对象的校验和(具有 gsutil 不支持的非 MD5 校验和)，并且会针对遇到的情况打印警告。
关于amazon-web-services - 如何在 Amazon-S3 和 Google Cloud Storage 之间执行文件完整性检查，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/45099327/