shell - 如何获取两个 S3 存储桶之间的文件差异？

Question

所以我有一个 S3 视频存储桶(数百个)，我使用 ElasticTranscoder 将所有内容转码到第二个优化存储桶中。

但是，当我检查第二个存储桶时，对象少了 40-50 个，但我无法弄清楚它们是什么(目录结构嵌套得很深等)。

如何使用 aws s3api list-objects 获取两个存储桶的文件差异?

也许存储桶中有一些不是视频的文件，我不知何故不知道。

Answer 1

使用 Display only filenames :

aws s3 ls s3://bucket-1 --recursive | awk '{$1=$2=$3=""; print $0}' | sed 's/^[ \t]*//' | sort > bucket_1_files
aws s3 ls s3://bucket-2 --recursive | awk '{$1=$2=$3=""; print $0}' | sed 's/^[ \t]*//' | sort > bucket_2_files

diff bucket_1_files bucket_2_files