amazon-web-services - 为什么 S3 对象的 ETag 会在副本下更改？

Question

我正在尝试使用 boto3 在不同帐户的存储桶中的前缀之间执行 S3 同步。我的尝试是通过列出账户 A 中的源存储桶/前缀中的对象，列出账户 B 中目标存储桶/前缀中的对象，并复制前者中那些 ETag 与对象的 ETag 不匹配的对象。后者。这似乎是正确的方法。
但是，似乎即使复制操作成功，每次执行复制时目标对象的 ETag 也不同。具体来说，

>>> # Here is the source object: {'Key': 'blah/blah/file_20210328_232250.parquet', 'LastModified': datetime.datetime(2021, 3, 28, 23, 38, 2, tzinfo=tzutc()), 'ETag': '"ba230f7a358cf1bee6c98250089da435"', 'Size': 52319, 'StorageClass': 'STANDARD'}
>>> client.copy_object(
CopySource={"Bucket": "source-bucket-in-acct-a", "Key": "blah/blah/file_20210328_232250.parquet"),
Bucket="dest-bucket-in-acct-b",
Key="blah/blah/file_20210328_232250.parquet"
)
... 'CopyObjectResult': {'ETag': '"84f11f744cf996e16a3af0d6d2fbee07"', 'LastModified': datetime.datetime(2021, 4, 20, 2, 23, 40, tzinfo=tzutc())}}

请注意，ETag 已更改。如果我再次运行该副本，它将再次具有不同的 ETag。我已经尝试了复制请求的所有附加参数( MetadataDirective="COPY" 等)。我可能遗漏了保留 ETag 的东西，但我的理解是 ETag 派生自对象的数据，而不是它的元数据。
现在，它在 AWS documentation 中说对于成功的非多部分复制操作，ETag 是相同的，事实确实如此，但情况似乎并非如此。它不是多部分副本，我已经检查了实际数据；它们是相同的。因此，我的问题是:
如果不是因为复制失败，对象的 ETag 如何改变？

Answer 1

根据评论。
对象的 Etag 哈希计算不一致，不能完全用于检查对象的完整性。来自 AWS blog :

ETag isn't always an MD5 digest, it can't always be used for verifying the integrity of uploaded files.

这是因为ETag的计算depend关于如何创建和加密对象:

Whether the ETag is an MD5 digest depends on how the object was created and encrypted.