node.js - 如何使用 AWS Lambda 从 S3 存储桶读取大型 XML 文件，然后将其用作 HTTP 请求正文

Question

我正在编写一个 AWS Lambda，我需要使用 S3 存储桶中的 XML 文件的内容来发出 HTTP PUT 请求。只要给定的 S3 存储桶中有文件上传，就应该触发此 lambda。以下是我在 Node.js 中的代码:

exports.handler = (event, context, callback) => {
    var s3 = new AWS.S3();
    var sourceBucket = event.Records[0].s3.bucket.name;
    const key = decodeURIComponent(event.Records[0].s3.object.key.replace(/\+/g, ' '));
    const params = {
        Bucket: sourceBucket,
        Key: key
    };
    s3.getObject(params, function(err, data) {
        if (err)
            console.log(err, err.stack); // an error occurred
        else {
            var body = data.Body.toString();
            const params2 = {
                url: 'http://url:port/PutFile',
                body: body
            };
            req.put(params2, function(err, res, body) {
                if(err){
                    console.log('------error------', err);
                } else{
                    console.log('------success--------', body);
                }
            });
            req('http://url:port/ResetData', function (error, response, body) {
                //Check for error
                if(error){
                    return console.log('Error:', error);
                }

                //Check for right status code
                if(response.statusCode !== 200){
                    return console.log('Invalid Status Code Returned:', response.statusCode);
                }
                    console.log(body); 

            });
    });
};

我的代码工作正常，并且对虚拟 XML 文件 (~3KB) 进行了所需的调用。但对于原来的需求，文件大小超过10MB，它返回以下异常:

RequestId: <someId> Error: Runtime exited with error: signal: killed

我尝试将 lambda 超时增加到 10 分钟，但仍然遇到相同的错误。我该如何解决这个问题？

Answer 1

问题可能是您的 lambda 内存不足，并且 aws 终止了执行。如果您查看此行上方的行:

...Error: Runtime exited with error: signal: killed

您将看到下面的行(粗体是我的):

REPORT RequestId: XXXX-XXXXX-XXXXX Duration: XXXX.XX ms Billed Duration: XXXXX ms Memory Size: 128 MB Max Memory Used: 129 MB

请注意，您使用的内存多于分配给 lambda 的大小。增加限制并重试。