amazon-s3 - Apache Airflow : operator to copy s3 to s3

标签 amazon-s3 airflow

在 Airflow 中将文件从一个 s3 复制到另一个 s3 的最佳运算符(operator)是什么?
我已经尝试过 S3FileTransformOperator,但它需要 transform_script 或 select_expression。我的要求是将确切的文件从源复制到目标。

最佳答案

使用 S3CopyObjectOperator

copy_step = S3CopyObjectOperator(
   source_bucket_key='source_file',
   dest_bucket_key='dest_file',
   aws_conn_id='aws_connection_id',
   source_bucket_name='source-bucket',
   dest_bucket_name='dest-bucket'
)

关于amazon-s3 - Apache Airflow : operator to copy s3 to s3,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55135735/

相关文章:

javascript - AngularJS S3 文件上传 - 策略条件失败

google-bigquery - 带有 Airflow 的 BigQuery - 缺少 projectId

airflow - 每月的 Airflow 延迟是一天还是一个月?

docker - dockerized算法的机器学习DAG,Luigi/Airflow/Celery

google-cloud-platform - 通过airflow检索SMTP密码的命令

php - 从 amazon s3 buckets 子文件夹中获取文件

amazon-s3 - JGit S3 仅支持标准美国存储桶?

ruby-on-rails - 如何测试 AWS S3 获取对象方法?

python - 如何在Airflow中实现Canary DAG来进行其他作业的健康检查?

meteor - cfs :s3 how to get url after upload?