amazon-web-services - AWS Firehose 缓冲

标签 amazon-web-services amazon-s3 amazon-kinesis-firehose

将记录写入到配置为 S3 作为输出目标的 AWS Firehose 时,此数据在写入 S3 之前缓冲了多长时间?或者是否有最小尺寸阈值?

例如,我正在执行以下操作来添加记录:

aws cli:

aws firehose put-record --delivery-stream-name mytestfirehoseafds --record='Data="{\"asdf\":\"testam\"}"'

结果:
    {
    "RecordId": "meESlTCUOBQwXaJ9NOVwKOLrEL+7y/glB0mIJ6h6Sz8lOJGUX/N+DlZttq4BQuY528j6ResbxQBR4To+V1RMbBvE4rcxP3kYwg0lmdBAEFWlNnzUb3nP214ywtRYRQ7IzCOjY9o1YPpqHNCCYkPd4Qr0StIFxIiBHHZvTcfW+qMbQkcy7Rr3R+wb+RVs9fEF2Fa8P6mD2NXJOE84sasPNYB/mrjaSMn9"
}

我没有立即在我的 S3 存储桶中看到这一点,但是如果我在 aws 控制台中使用“测试数据”功能,我会看到文件被添加到 S3,测试数据包括我上面的测试记录。

所以我的问题是,

1.) Firehose 是否有某种缓冲阈值,在将缓冲数据写入输出源之前必须达到该阈值?

2.) 如何确定在任何给定时间流水缓冲区内有哪些数据/记录?

最佳答案

1) 是的,它可以在 firehose 中配置

Kinesis Firehose buffers incoming data before delivering it to Amazon S3. You can choose a buffer size (1-128 MBs) or buffer interval (60-900 seconds); whichever condition is satisfied first triggers data delivery to Amazon S3.



Creating an Amazon Kinesis Firehose Delivery Stream

2)你不能。 Firehose 不会公开挂起的数据。

关于amazon-web-services - AWS Firehose 缓冲,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44848579/

相关文章:

amazon-web-services - `An error occurred (InvalidToken) when calling the ListBuckets operation: The provided token is malformed or otherwise invalid.` 带 `aws s3 ls`

amazon-web-services - KMS加密后无法从S3下载文件

javascript - 使用 API Gateway 处理 AWS Lambda 函数中的错误

reactjs - React AWS Amplify S3 Storage.put() No Credentials 错误

node.js - react native - fatal error : Ineffective mark-compacts near heap limit Allocation failed - JavaScript heap out of memory

amazon-web-services - 在 AWS Firehose 中添加故障处理

json - 读取由 Amazon Kinesis Firehose 流写入 s3 的数据

python - 迭代 AWS S3 存储桶中的对象

amazon-kinesis - 将 Firehose 传输的文件存储在 S3 中的自定义目录名称下

angularjs - 无法在 asp.net mvc 中显示来自 s3 存储桶的上传图像