python - 新S3下的Boto3文件夹同步 'folder'

Question

所以，在有人告诉我 S3 的平面结构之前，我已经知道了，但事实是您可以在 S3 中创建“文件夹”。我使用此 Python 代码的目标是创建一个使用运行日期命名的新文件夹，并将用户的输入附加到此(这是 createS3Folder 函数)——然后我想将本地目录中的文件夹同步到此文件夹。

问题是我的 upload_files 函数在 S3 中创建了一个新文件夹，它完全模拟了我本地设置的文件夹结构。

谁能建议我如何在不更改名称的情况下将文件夹同步到新创建的文件夹中？

import sys
import boto3
import datetime
import os

teamName = raw_input("Please enter the name of your project: ")
bucketFolderName = ""

def createS3Folder():
    date = datetime.date.today().strftime("%Y") + "." + 
    datetime.date.today().strftime("%B") + "." + 
    datetime.date.today().strftime("%d")
    date1 = datetime.date.today()
    date = str(date1) + "/" #In order to generate a file, you must 
    put "/" at the end of key
    bucketFolderName = date + teamName + "/"  
    client = boto3.client('s3')
    client.put_object(Bucket='MY_BUCKET',Key=bucketFolderName)  
    upload_files('/Users/local/directory/to/sync')

def upload_files(path):
    session = boto3.Session()
    s3 = session.resource('s3')
    bucket = s3.Bucket('MY_BUCKET')
    for subdir, dirs, files in os.walk(path):
        for file in files:
            full_path = os.path.join(subdir, file)
            with open(full_path, 'rb') as data:
                bucket.put_object(Key=bucketFolderName, Body=data)

def main():
    createS3Folder()

if __name__ == "__main__":
    main()

Answer 1

您的 upload_files() 函数正在上传到:

bucket.put_object(Key=bucketFolderName, Body=data)

这意味着 S3 上的文件名(“ key ”)将是“文件夹”的名称。应该是:

 bucket.put_object(Key=bucketFolderName + '/' + file, Body=data)

Key 是目标对象的完整路径，包括文件名(不仅仅是“目录”)。

事实上，不需要事先创建“文件夹”——只需上传到所需的 key 即可。

如果您觉得懒惰，请使用 AWS Command-Line Interface (CLI) aws s3 sync 命令为您完成!