amazon-kinesis-firehose - 如何为 S3 上的 AWS Firehose 设置目标文件名?

标签 amazon-kinesis-firehose

我正在处理一个添加到 S3 的 XML 文件并将结果写入到 firehose,并将结果存储在同一个 S3 存储桶中,但目标文件名必须采用特定格式。我检查了文档,但看不到任何设置文件名格式的方法。 我能找到的最接近的是 firehose FAQ

Q: What is the naming pattern of the Amazon S3 objects delivered by Amazon Kinesis Data Firehose?

The Amazon S3 object name follows the pattern DeliveryStreamName-DeliveryStreamVersion-YYYY-MM-DD-HH-MM-SS-RandomString, where DeliveryStreamVersion begins with 1 and increases by 1 for every configuration change of the delivery stream. You can change delivery stream configurations (for example, the name of the S3 bucket, buffering hints, compression, and encryption) with the Firehose Console or the UpdateDestination operation.

最佳答案

如果您使用静态命名,您可以通过 Firehose 控制台或 UpdateDestination 操作指定它。

但是如果您正在寻找一些动态命名,不幸的是,目前这是不可能的。请参阅此问题以获取详细答案- Storing Firehose transfered files in S3 under custom directory names

关于amazon-kinesis-firehose - 如何为 S3 上的 AWS Firehose 设置目标文件名?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49514613/

相关文章:

amazon-s3 - 有没有办法为由 kinesis firehose 保存到 s3 的文件指定文件扩展名

elasticsearch - 如何正确删除AWS ElasticSearch索引以释放磁盘空间

amazon-web-services - 使用 AWS Kinesis 上传大文件

amazon-kinesis - Kinesis 的多个目的地

mysql - RDS MySQL、Kinesis Firehose 和 Elasticsearch,初始数据加载?

amazon-web-services - 如何在 aws kinesis 数据分析的 cloudformation 中将目标设置为 lambda

google-cloud-platform - 谷歌云平台 : accumulate data from Pub/Sub to files in Cloud Storage without Dataflow

aws-cloudformation - 通过 CloudFormation 创建 AWS::Logs::SubscriptionFilter 时,供应商 firehose 的 destinationArn 不能与 roleArn 一起使用

amazon-web-services - AWS Kinesis Firehose无法将数据索引到AWS Elasticsearch中

amazon-web-services - AWS Firehose 数据转换并发限制