linux - 从 ec2 上传大文件到 s3 失败

Question

我正在尝试使用 将 160 Gb 文件从 ec2 上传到 s3

s3cmd put --continue-put FILE s3://bucket/FILE

但每次上传都会中断消息:

FILE -> s3://bucket/FILE [part 10001 of 10538, 15MB] 8192 of 15728640 0% in 1s 6.01 kB/s  failed

ERROR: Upload of 'FILE' part 10001 failed. Aborting multipart upload.
ERROR: Upload of 'FILE' failed too many times. Skipping that file.

目标桶确实存在。

问题的原因是什么？

还有其他上传文件的方法吗？

谢谢。

Answer 1

每个对象最多可以有 10000 个上传部分，因此在部分 10001 上会失败。使用更大的部分可能会解决问题。