TL;DR:尝试使用 Boto3 将 .json 文件放入 S3 存储桶,过程非常缓慢。寻找加快速度的方法。
这是我关于 SO 的第一个问题,所以如果我遗漏了任何重要的细节,我深表歉意。本质上,我试图从 Elasticsearch 中提取数据并使用 Boto3 将其存储在 S3 存储桶中。我指的是this post使用 ES Python 客户端的滚动功能拉取多页 ES 数据。当我滚动时,我正在处理数据并将其作为 [timestamp].json 格式放入存储桶中,使用以下命令:
s3 = boto3.resource('s3')
data = '{"some":"json","test":"data"}'
key = "path/to/my/file/[timestamp].json"
s3.Bucket('my_bucket').put_object(Key=key, Body=data)
在我的机器上运行它时,我注意到这个过程非常缓慢。使用 line profiler ,我发现这一行在我的整个程序中消耗了超过 96% 的时间:
s3.Bucket('my_bucket').put_object(Key=key, Body=data)
我可以进行哪些修改以加快此过程?请记住,我正在我的程序中创建 .json 文件(每个文件约为 240 字节)并将它们直接流式传输到 S3,而不是将它们保存在本地并上传文件。提前致谢。
最佳答案
由于您可能要上传许多小文件,因此您应该考虑以下几点:
upload_file
或 upload_fileobj
方法,因为它们将处理多部分上传和线程。 关于python - Boto3 put_object() 很慢,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50951308/