node.js - AWS Lambda 通过文件版本控制列出 S3 存储桶对象和子目录

标签 node.js amazon-s3 aws-lambda aws-sdk

我是 lambda 新手,尝试列出具有嵌套子目录的 S3 存储桶对象,结构如下:

- mybucket/folder1/project1/samplev1.txt
- mybucket/folder1/project1/sampleVer2.txt
- mybucket/folder2/
- mybucket/folder3/

这是我的 lambda 代码:

const AWS = require('aws-sdk');
const s3 = new AWS.S3();

exports.handler = async (event) => {
  const allKeys = [];
  await getKeys({ Bucket: 'ru-mybucket' }, allKeys);
  console.log(allKeys)
  return allKeys;
};

async function getKeys(params, keys){
  const response = await s3.listObjectsV2(params).promise();
  response.Contents.forEach(obj => keys.push(obj.Key));

  if (response.IsTruncated) {
    const newParams = Object.assign({}, params);
    newParams.ContinuationToken = response.NextContinuationToken;
    await getKeys(newParams, keys); // RECURSIVE CALL
  }
}

该函数列出了我的存储桶中的所有对象键及其嵌套子目录和文件,问题是如何列出嵌套对象(包括其版本),我该如何实现这一点?在我的代码中添加 (listObjectVersions) 以便能够循环具有版本的对象?

最佳答案

我已经做到了code对于您来说,在此示例中您可以看到单元测试及其实现(apigateway)。

基本上,我从存储桶中检索了所有 key ,然后迭代它们。最后我得到了所有对象,并且我查询 s3.listObjectsV2 传递两个参数:存储桶和 key 。

下面是伪代码:

s3.listObjectsV2({ Bucket: your_bucket, MaxKeys: 1000 }).forEach( element => {
   s3.listObjectVersions({ Bucket: your_bucket, Prefix: element.Key})
})

要运行代码示例,您必须运行以下命令:

npm install
npm run deploy

为此,您可以测试代码:

npm run test

别忘了放上你的水桶:

./package.json
./tests/test.js

重要:我使用了 serverless framework对于这个解决方案。

关于node.js - AWS Lambda 通过文件版本控制列出 S3 存储桶对象和子目录,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53109644/

相关文章:

node.js - 在浏览器中使用 Electron 代码

Android 中止上传 Amazon S3 存储桶

video - 通过 HTTP 下载部分视频(用于远程缩略图)

aws-lambda - 您如何使用 AppSync 和无服务器管理更新/回滚和多个版本?

aws-lambda - AWS Cloudformation SAM 文件 - 如何拆分为许多较小的文件?

node.js - Nodejs 给我下载而不是 html 响应

node.js - 如何从 saveAsync 返回 Mongoose 对象?

node.js - npm install 导致无法读取未定义的属性 'name'

node.js - 在不下载整个文件的情况下读取和解析 S3 中的 CSV 文件

python - 将 Python 依赖项打包到 AWS Lambda 的子目录中