amazon-web-services - 加载文件后如何清理 AWS Firehose 使用的 S3 文件?

标签 amazon-web-services amazon-redshift amazon-kinesis-firehose

在将数据复制到 redshift 之前,AWS Firehose 使用 S3 作为间歇性存储。一旦数据传输到redshift,如果成功如何自动清理它们。

我手动删除了这些文件,它出了状态提示文件被删除了,我不得不再次删除并重新创建 Firehose 才能恢复。

使用 S3 规则在 7 天后删除这些文件是否可行?或者是否有任何自动化的方式,Firehose 可以删除已移动到 redshift 的成功文件。

最佳答案

与支持 AWS 讨论,

确认在 24 小时或最大重试时间后删除这些中间文件是安全的。

在 S3 存储桶上自动删除的生命周期规则应该可以解决这个问题。

希望对您有所帮助。

关于amazon-web-services - 加载文件后如何清理 AWS Firehose 使用的 S3 文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46208536/

相关文章:

amazon-web-services - AWS AMI 中需要烘焙哪些内容以及使用 cloud-init 来配置哪些内容?

amazon-web-services - AWS 是关闭每个可用性区域 (A-Z) 还是整个区域进行维护

amazon-web-services - 安排从 AWS Redshift 到 S3 的数据提取

sql - 在 PostgreSQL 查询中转义列名中的字符?

amazon-web-services - Kinesis Firehose 上的慢 PutRecordBatch

amazon-web-services - AWS 无法将弹性 IP 分配给网络接口(interface)

django - Apache 不会提供 Django 静态文件

sql - Amazon Redshift 错误 - 错误 : 0A000: Specified types or functions (one per INFO message) not supported on Redshift tables

java - 无法从链中的任何提供商加载 AWS 凭证 - kinesis-kafka-connector

amazon-web-services - 如何从自定义 REST API 将数据加载到 Redshift