mysql - AWS Lambda 在代码中间停止执行

Question

我正在尝试在 s3 中触发 csv 文件上传，并使用 lambda 将文件中的数据插入到数据库中。

大多数情况下，如果我在几秒钟的间隙内连续运行代码，代码就会成功执行。

但有时我面临的问题是代码在控制台 console.log('about to get the data'); 处停止执行，并忽略其余代码，有时 mysql 连接超时。

我发现只有当我测试 lambda 代码的间隔超过 20 秒时才会出现问题。所以，我猜这是一个冷启动问题。

我不想错过任何一个 s3 触发器。因此，我需要帮助来查找代码中导致此问题的缺陷。

   const AWS = require('aws-sdk');
    const s3 = new AWS.S3({region: 'ap-south-1', apiVersion: '2006-03-01'});
    var mysql= require('mysql');

    var conn = mysql.createPool({
        connectionLimit: 50,
        host: 'HOST',
        user: 'USER',
        password: 'PASSWORD',
        database: 'DATABASE'
      })

    async function mainfunc (event, context, callback) {
        console.log("Incoming Event: ", JSON.stringify(event));
        const bucket = event.Records[0].s3.bucket.name;
        const filename = decodeURIComponent(event.Records[0].s3.object.key.replace(/\+/g, ' '));

        const params = {
            Bucket: bucket,  
            Key:  filename
        };


        console.log('about to get the data'); //Code stops here some times

          return await getresult(params);


    };

    async function getresult(params){
        var result =  await s3.getObject(params).promise();


        var recordList = result.Body.toString('utf8').split(/\r?\n/).filter(element=>{
            return element.length> 5;
          })
          recordList.shift()
          var jsonValues = [];
          var jsonKeys = result.Body.toString('utf8').split(/\r?\n/)[0]

          recordList.forEach((element) => {
            element = element.replace(/"{2,}/g,'"').replace(/, /g,"--").replace(/"{/, "{").replace(/}"/, "}").replace(/,/g, ';').replace(/--/g,', ').split(';');
            jsonValues.push(element)
          });

          var lresult = await query(jsonKeys, jsonValues);        
          return lresult;

    }

    async function query(jsonKeys, jsonValues){
      var qresult = await conn.getConnection(function(err, connection) {
        if (err){
          console.log(err,'------------------------------------');// Sometimes i get Sql Connection timeout error here
        } else {
        console.log("Connected!");
        var sql = "INSERT INTO reports ("+jsonKeys+") VALUES ?";
        connection.query(sql, [jsonValues], function (err, result) {
          if (err){
            console.log(err);
            connection.release()
            return err;
          } else {
          console.log("1 record inserted");
          console.log(result);
          connection.release()
          return result;
          }
        });
      }
      })

    }



      exports.handler = mainfunc

Answer 1

我已经通过在“查询”函数中使用promise解决了这个问题

function query(jsonKeys, jsonValues){
      return new Promise(function(resolve, reject) {
      conn.getConnection(function (err, connection) {
        if (err) {
          console.log(err, '------------------------------------');
        }
        else {
          console.log("Connected!");
          var sql = "INSERT INTO principal_reports (" + jsonKeys + ") VALUES ?";
          connection.query(sql, [jsonValues], function (err, result) {
            if (err) {
              console.log(err);
              connection.release();
              reject(err)
            }
            else {
              console.log("1 record inserted");
              console.log(result);
              connection.release();
              resolve(result)
            }
          });
        }
      })
    })
    }

并更改了代码

var lresult = await query(jsonKeys, jsonValues);

至

var lresult = await query(jsonKeys, jsonValues).then(data =>{
            return data;
          }).catch(error =>{
            return error;
          });