我想自动执行每天运行的 redshift 插入查询。
我们实际使用的是Aws环境。有人告诉我使用 lambda 不是正确的方法。哪个是在 Redshift 中自动执行查询的最佳 ETL 过程。
最佳答案
要在 Redshift 上自动化 SQL,您有 3 个选项(至少)
简单 - cron 使用 EC2 实例并在其上设置 cron 作业以运行您的 SQL 代码。
psql -U youruser -p 5439 -h hostname_of_redshift -f your_sql_file
功能丰富 - Airflow(推荐) 如果您要运行一个复杂的计划,那么值得花时间学习和使用 apache airflow。这也需要在服务器 (ec2) 上运行,但提供了很多功能。
AWS 无服务器 - AWS 数据管道(不推荐)
https://aws.amazon.com/datapipeline/
Cloudwatch->Lambda->John Rotenstein 描述的 EC2 方法 当您想以 AWS 为中心时,这是一个很好的方法,它比拥有专用的 EC2 实例更便宜。
关于amazon-web-services - AWS : Automating queries in redshift,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52306194/