我想将数据从BigQuery中的一个表转移到Redshift中的另一个表中。
我计划的数据流如下:
BigQuery-> Google云存储-> Amazon S3-> Redshift
我知道Google Cloud Storage Transfer Service，但不确定它是否可以帮助我。从Google Cloud文档中:
Cloud Storage Transfer Service
This page describes Cloud Storage Transfer Service, which you can use to quickly import online data into Google Cloud Storage.
我了解可以使用此服务将数据导入Google Cloud Storage中，而不从中导出。
有什么方法可以将数据从Google Cloud Storage导出到Amazon S3？
最佳答案
您可以使用gsutil，通过以下命令将数据从Google Cloud Storage存储桶复制到Amazon存储桶:
gsutil -m rsync -rd gs://your-gcs-bucket s3://your-s3-bucket
请注意，上面的-d选项将导致gsutil rsync从S3存储桶中删除GCS存储桶中不存在的对象(除了添加新对象之外)。如果您只想将新对象从GCS添加到S3存储桶，则可以不选择该选项。
关于amazon-s3 - 将数据从Google Cloud Storage导出到Amazon S3，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/39329580/