java - 如何自动将数据从 amazon S3 复制到 redshift？

Question

首先，我想让你知道我现在过得怎么样。

I am coping data manually from S3 to redshift i.e. using copy command in SQL Workbench. And sometimes I execute this command via JDBC option.

我认为这不是复制数据的正确选择。 copy或许会有很好的解决办法。当新数据进入 S3 时，我想自动复制数据。任何解决方案将不胜感激。

谢谢。

Answer 1

我会使用 lambda。

1. 当新对象插入到 S3 ( see doc ) 时，您可以触发一个 lamdba

2. 根据您必须从 S3 复制的数据量，聚合工作可能更可取，这样工作会更快

AWS 已发布 code from labs将数据从 S3 存储桶加载到 Redshift 。

This blog from amazon从 github 项目中获取大量文档以查看如何将其付诸实践。