node.js - 如何将字符串作为 gzip Nodejs 上传到 s3

Question

我有一个从 Redis 读取字符串数组的 node.JS 程序。 我需要将此字符串以 GZIP 格式上传到我在 AWS s3 中的存储桶，而无需在上传前在本地创建 gzip 文件。

基本上，我希望将读取的字符串从 Redis 流式传输到 gzip 压缩的 s3 存储桶。

除了上述问题，我想知道以这种方式编程的有效和推荐方式是什么，因此将存储在 S3 中的文件最大为 64 MB，并且有额外的数据，将创建附加文件(也限制为最大 64MB)。 在下面的示例中，我展示了如何从 Redis 键中读取要存储在 s3 gzip 中的值限制为 64 MB:

client.lrange(key, 0, -1, (error, arrayStringValue) => {
            if (arrayStringValue == null || !arrayStringValue.length) {
                client.del(key);
                return console.log("removing key, no values");
            }
            if (error) reject(error);
            console.log("finish iterating");
            impressionsRecorded = true;
            //compress 
            uploadToS3(arrayStringValue, "bucket/key", null);

基本上我缺少的是 uploadToS3 方法的正确实现

Answer 1

我不得不解决同样的问题。这是我在 Node.js 中的解决方案。

const zlib = require('zlib');

const uncompressedString = 'Hi there';

const compressedStringAsBuffer = zlib.gzipSync(uncompressedString);

const AWS = require('aws-sdk');
const s3 = new AWS.S3();

const s3Params = {
      Bucket: 'my-bucket',
      Body: compressedStringAsBuffer,
      Key: 'my-compressed-string.txt.gzip', // .gzip isn't required
      ContentType: 'text/plain', // change the ContentType if you want to serve HTML, CSS, JS, etc.
      ContentEncoding: 'gzip' // that's important
    };

await s3.putObject(s3Params).promise();