amazon-web-services - AWS : Automating queries in redshift

标签 amazon-web-services automation amazon-redshift etl

我想自动执行每天运行的 redshift 插入查询。

我们实际使用的是Aws环境。有人告诉我使用 lambda 不是正确的方法。哪个是在 Redshift 中自动执行查询的最佳 ETL 过程。

最佳答案

要在 Redshift 上自动化 SQL,您有 3 个选项(至少)

简单 - cron 使用 EC2 实例并在其上设置 cron 作业以运行您的 SQL 代码。

psql -U youruser -p 5439 -h hostname_of_redshift -f your_sql_file

功能丰富 - Airflow(推荐) 如果您要运行一个复杂的计划,那么值得花时间学习和使用 apache airflow。这也需要在服务器 (ec2) 上运行,但提供了很多功能。

https://airflow.apache.org/

AWS 无服务器 - AWS 数据管道(不推荐)

https://aws.amazon.com/datapipeline/

Cloudwatch->Lambda->John Rotenstein 描述的 EC2 方法 当您想以 AWS 为中心时,这是一个很好的方法,它比拥有专用的 EC2 实例更便宜。

关于amazon-web-services - AWS : Automating queries in redshift,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52306194/

相关文章:

php - Redshift 作为替代或补充

java - AJAX 请求中止时停止 Redshift 上的 SQL 查询的替代方法

python-3.x - 将多个文件从 Redshift 卸载到 S3

java - 如何使用 AWS Java SDK 设置 AWS 容器凭证

c# - 使用 DynamoDB 检索表中的所有项目

java - 连接()失败(111 : Connection refused) while connecting to upstream. Java(SparkJava)亚马逊弹性

java - 检测在 selenium java 中下载的文件

amazon-web-services - 如何将 AWS SecureTokenService 与 Spring Cloud AWS 结合使用

excel - 使用 Powershell 添加新列并填充工作表名称

macos - 如何每天早上和登录/解锁后直接在 OSX 中运行脚本?