amazon-web-services - 将文件从 AWS Kinesis Firehose 传送到特定 S3 文件夹

标签 amazon-web-services amazon-s3 aws-glue amazon-kinesis-firehose

问题背景:
我有一个 AWS Kinesis Firehose 传输流设置。
我还有一个 S3 存储桶设置。
在我的 S3 存储桶中,我有一个文件夹,我们称之为:“folderX/”。

目前,它只是将其发送到标记为“2021/”的预制文件夹,因为默认方案是发送到与当前日期/时间对应的文件夹。

问题: 我希望我的 Firehose 传输流将文件发送到该特定文件夹。我该怎么做?

最佳答案

S3 目标配置中的

备份 S3 存储桶前缀是设置前缀的位置。

来自Documentation对于备份 S3 存储桶前缀:

To use the default prefix for Amazon S3 objects, leave this option blank. Kinesis Data Firehose automatically uses a prefix in "YYYY/MM/dd/HH" UTC time format for delivered Amazon S3 objects. You can add to the start of this prefix

enter image description here

更多示例:

要获取folderX/2021/3/17,我们可以使用folderX/!{timestamp:YYYY}/!{timestamp:MM}/!{timestamp:dd}/

要获取folderX/year=2021/month=3/day=17/hour=5/,我们可以使用folderX/year=!{timestamp:YYYY}/month=! {timestamp:MM}/day=!{timestamp:dd}/hour=!{timestamp:HH}/

关于amazon-web-services - 将文件从 AWS Kinesis Firehose 传送到特定 S3 文件夹,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/66682211/

相关文章:

ios - 从 iOS (Swift) 上的 AWS S3 存储桶并行下载对象

apache-spark - 在 EMR 上使用 Spark SQL 查询 Glue 表时获取 NullPointerException(名称为 null)

amazon-web-services - 如何在粘合作业中添加当前时间戳(额外列),以便输出数据具有额外列

amazon-web-services - 如何为合并的 GitHub 拉取请求触发 CodePipeline?

heroku - HIPAA 合规性云服务器设置

amazon-web-services - 使用云前端或 s3 存储桶的每个边缘站点的成本是否有所不同?

python - 如何使用 Boto3 Python 在 S3 中创建 zipfile?

aws-glue - AWS glue 每次都将完整数据从源复制到目标,即使有书签也是如此

amazon-web-services - 无法连接到 VPC 中的 MariaDB RDS 实例

python - 使用scrapy时在AWS上获取TCP连接超时: 110: Connection timed out.?