amazon-web-services - s3 存储桶日期路径格式可加快操作速度

标签 amazon-web-services amazon-s3

AWS 的一位顾问告诉我,在用日期命名 s3 中的文件夹(对象)时。使用 MM-DD-YYYY 进行更快的 s3 操作,如获取对象,但我通常使用 YYYY-MM-DD。我不明白这有什么区别,有区别吗,如果有,哪个更好?

最佳答案

由于数据存储在后端的方式,这曾经是一个限制,但它不再适用(对于原始扩展,请参阅下面的 jellycsc 评论)。

此建议的原因是,过去 Amazon Simple Storage Service (S3) 使用 key 对数据进行分区。由于许多文件具有相同的前缀(例如,所有文件都以同一年开头),当需要从同一分区加载许多文件时,这可能会导致性能下降。

但是,自 2018 年以来,不再需要对 S3 key 进行散列和随机前缀来提高性能:https://aws.amazon.com/about-aws/whats-new/2018/07/amazon-s3-announces-increased-request-rate-performance/

关于amazon-web-services - s3 存储桶日期路径格式可加快操作速度,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61595153/

相关文章:

file-upload - 我可以做些什么来加速 S3 上传/更新?

java - 适当使用 Spring Integration Java DSL 加上 AmazonS3InboundSynchronizationMessageSource

hadoop - 通过hadoop访问s3n网址并指向riak cs

amazon-web-services - 使用 Athena 查询 s3 中的 AWS firehose 数据 - 无法查询批处理

node.js - 将 NODE_ENV 传递给 docker 以运行 package.json 脚本

mySQL长查询锁超时异常

mysql - Entity Framework 轮询

java - Spark使用s3a以多线程方式写入文件

java - AWS SWF promise IllegalStateException : Not ready

python - Boto AWS S3- "NoSuchKey",当 key 确实存在时