amazon-web-services - 复制到大目录时，AWS S3 Sync非常慢

Question

使用AWS-CLI将数据同步到S3中的空目录时，几乎是即时的。但是，当同步到一个大目录（数百万个文件夹）时，甚至开始上传/同步文件都需要很长时间。

有替代方法吗？看起来它正在尝试在同步之前考虑S3目录中的所有文件-我不需要，并且无需事先检查就可以上传数据。

Answer 1

sync命令将需要枚举存储桶中的所有文件，以确定存储桶中是否已存在本地文件，以及该本地文件是否与本地文件相同。存储桶中包含的文档越多，花费的时间就越长。

如果您不需要这种sync行为，只需使用类似以下的递归复制命令：

aws s3 cp --recursive . s3://mybucket/

并且应该将当前目录中的所有本地文件复制到S3中的存储桶中。