node.js - AWS NodeJS微服务: Iteratively invoke service when files in S3 bucket changed

Question

我使用 nodejs 在 lambda 上创建了一个微服务，以生成 S3 存储桶中图像的缩略图。但是，当我将新图像上传到 S3 存储桶后，它并没有被触发。我将触发事件类型设置为创建的S3对象。我还将测试事件配置为: "eventName": "ObjectCreated:*" 这意味着当存储桶中创建/更改某些文件时，它应该触发测试事件并调用此 lambda 函数。我还在存储桶端设置了相同的通知配置。当我第一次从这个例子创建这个 lambda 函数时，它对我有用:Create a deployment package

该函数仅适用于确切的文件“HappyFace.jpg”，但对所有其他图像均无效。有时我会收到“访问被拒绝”错误。我正在使用以下代码:

// dependencies
var async = require('async');
var AWS = require('aws-sdk');
var gm = require('gm')
            .subClass({ imageMagick: true }); // Enable ImageMagick integration.
var util = require('util');
var utils = require('utils');

// constants
var MAX_WIDTH  = 100;
var MAX_HEIGHT = 100;

// get reference to S3 client 
var s3 = new AWS.S3();

exports.handler = function(event, context, callback) {
    // Read options from the event.
    console.log("Reading options from event:\n", util.inspect(event, {depth: 5}));
    var srcBucket = event.Records[0].s3.bucket.name;
    // Object key may have spaces or unicode non-ASCII characters.
    var srcKey    =
    decodeURIComponent(event.Records[0].s3.object.key.replace(/\+/g, " "));  
    var dstBucket = srcBucket + "-resized";
    var dstKey    = "resized-" + srcKey;

    // Sanity check: validate that source and destination are different buckets.
    if (srcBucket == dstBucket) {
        callback("Source and destination buckets are the same.");
        return;
    }

    // Infer the image type.
    var typeMatch = srcKey.match(/\.([^.]*)$/);
    if (!typeMatch) {
        callback("Could not determine the image type.");
        return;
    }
    var imageType = typeMatch[1];
    if (imageType != "jpg" && imageType != "png") {
        callback('Unsupported image type: ${imageType}');
        return;
    }

    // Download the image from S3, transform, and upload to a different S3 bucket.
    async.waterfall([
        function download(next) {
            // Download the image from S3 into a buffer.
            s3.getObject({
                    Bucket: srcBucket,
                    Key: srcKey
                },
                next);
            },
        function transform(response, next) {
            gm(response.Body).size(function(err, size) {
                // Infer the scaling factor to avoid stretching the image unnaturally.
                var scalingFactor = Math.min(
                    MAX_WIDTH / size.width,
                    MAX_HEIGHT / size.height
                );
                var width  = scalingFactor * size.width;
                var height = scalingFactor * size.height;

                // Transform the image buffer in memory.
                this.resize(width, height)
                    .toBuffer(imageType, function(err, buffer) {
                        if (err) {
                            next(err);
                        } else {
                            next(null, response.ContentType, buffer);
                        }
                    });
            });
        },
        function upload(contentType, data, next) {
            // Stream the transformed image to a different S3 bucket.
            s3.putObject({
                    Bucket: dstBucket,
                    Key: dstKey,
                    Body: data,
                    ContentType: contentType
                },
                next);
            }
        ], function (err) {
            if (err) {
                console.error(
                    'Unable to resize ' + srcBucket + '/' + srcKey +
                    ' and upload to ' + dstBucket + '/' + dstKey +
                    ' due to an error: ' + err
                );
            } else {
                console.log(
                    'Successfully resized ' + srcBucket + '/' + srcKey +
                    ' and uploaded to ' + dstBucket + '/' + dstKey
                );
            }

            callback(null, "message");
        }
    );
};

并在下载前配置了类型匹配。我尝试使用 s3.ListObjects，但它在逻辑上对我来说没有意义。由于 lambda 可以由上传事件触发，因此每次上传新图像时都应该为该图像调用它，因此我不想每次都列出对象。

更新:

获得管理员访问权限后，我解决了访问被拒绝的问题。它启发我检查我安装的 Node 包。我们可以通过这种方式来解决。但是，当我从 npm 安装“utils”后，我无法为现有文件调用该函数。

Answer 1

access denied错误可能不是 IAM/S3 存储桶/lambda 权限问题。如果您的服务在 S3 存储桶中找不到给定 key ，它还会返回 access denied给请求者带来错误。因为返回NoSuchKey会泄漏有关所请求的 key 不存在的信息。如需引用，请查看此链接:Causes of Access Denied Error

至于如何迭代调用lambda函数，肯定不需要调用 s3.ListObject()在您的代码中，因为这会降低您的性能。但此链接可能会帮助您自定义功能:Listing Large S3 Buckets with the AWS SDK for Node.js 。在此问题的给定示例中，请注意它们包含 util 包:

var util = require('util');

但是他们如何使用 npm 安装是通过这个命令行:

npm install async gm

如果你想让函数被迭代调用，你还需要通过 npm 安装“utils” npm install utils 。当它通过您的存储桶迭代工作时，您可能会得到 access denied某些文件出现错误，因为您可能没有在事件中配置 key 。你可以忽略它。

更新

我还设法将原始图像和缩略图放在同一个存储桶中，您需要做的是两件事:

1. 通过检查前缀或后缀跳过缩略图。
2. 设置超时间隔。由于我们使用“异步”，因此我们不需要为 waterfall 函数设置Timeout，我们可以将其设置在 waterfall 之外但处理程序内部。您还可以在 GUI 中设置超时和时间表事件。

重要更新:

不幸的是，我原来的解决方案并不完美。我有另一个更安全的解决方案。共有三个步骤:

1. 将您的 S3 存储桶配置到 SQS 队列。
2. 在异步循环(或 setInterval)中监听每条传入消息。
3. 在异步循环中为每条 SQS 消息执行缩略图函数。

代码大致如下:

s3.listObjects({Bucket:"myBucket",Delimiter:"",Prefix:""}, function (err, data) {
    if (err) throw err;

    thumbnail(event, function(err){})
});

setInterval(function() {
    console.log("Pause");
    sqs.receiveMessage(receiveParams, function(err,data){
        console.log("Calling");
        if (err) {
            console.log(err);
        }
        else {
            if (data.Messages != null)
            {
                thumbnail(data.Messages[0].Body, function(err){
                    if (err) {
                        console.log(err);
                    }
                });
            }
        }
    });
}, 1000);