amazon-s3 - 如何从包含大量文件的 S3 存储桶下载最新文件

Question

我的 S3 存储桶中有很多文件，我希望下载最近的 1000 个文件(按日期上传)。

如何继续使用 AWS cli 或 s3 boto 执行此操作

Answer 1

您可以使用以下命令:

aws s3api list-objects --bucket <bucket> \
--query 'reverse(sort_by(Contents[].{Key: Key, LastModified: LastModified}, &LastModified))[:1000].[Key]' --output text | \ 
xargs -I {} aws s3 cp s3://<bucket>/{} .

我使用以下 JMESPath 函数:

• sort_by :对 json 数组进行排序，在本例中，我将内容过滤为仅 (Key, LastModified) 参数，并将过滤 LastModified 属性

• reverse :需要反转结果，因为您想要最新的结果

• [:x] :仅接受数组的 x 个参数，在您的情况下您需要 1000 个项目

• 仅读取 .[Key] 的关键元素放置为数组，以便我们可以将每个元素作为新行输出为文本

• xargs -I {} aws s3 cp s3://<bucket>/{} .将从您的 s3 存储桶帐户中找到的每个文件复制到本地