在将数据复制到 redshift 之前,AWS Firehose 使用 S3 作为间歇性存储。一旦数据传输到redshift,如果成功如何自动清理它们。
我手动删除了这些文件,它出了状态提示文件被删除了,我不得不再次删除并重新创建 Firehose 才能恢复。
使用 S3 规则在 7 天后删除这些文件是否可行?或者是否有任何自动化的方式,Firehose 可以删除已移动到 redshift 的成功文件。
最佳答案
与支持 AWS 讨论,
确认在 24 小时或最大重试时间后删除这些中间文件是安全的。
在 S3 存储桶上自动删除的生命周期规则应该可以解决这个问题。
希望对您有所帮助。
关于amazon-web-services - 加载文件后如何清理 AWS Firehose 使用的 S3 文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46208536/