node.js - 压缩 AWS Lambda 响应以避免 6MB 限制有什么好处？

Question

我有 Lambda，它对 DynamoDB 执行多次调用，创建一个大的字符串化 JSON 对象作为响应，并通过 API 网关传递给客户端应用程序。当然，API Gateway 设置了“启用内容编码”选项，所有数据都以压缩形式通过 Internet 传递。

问题是 Lambda 响应本身没有被压缩，它达到了 6MB 响应限制。是否可以压缩 Lambda 响应，然后以某种自然的方式在客户端解压缩它？

我检查过像 JSZip 和 ADM Zip 这样的 node.js 库，很惊讶尽管它们允许解压缩数据的内存输出，但它们不允许像字符串、缓冲区或 smth 这样的内存输入，只有文件。 Lambda 已经有一些与处理文件相关的限制和惊喜，所以我想避免以下冗余工作流程:

创建 JSON 对象

将其保存为 lambda 环境中的临时文件

通过压缩库加载文件压缩并返回API网关

有没有更自然的方法来处理这个问题？

Answer 1

尽管我同意使用分页或 S3 更适合处理大量数据，但您可以压缩从 Lambda 函数返回的响应，以避免在需要时达到 6MB 限制。
不幸的是，虽然 API Gateway 现在支持 gzip 等内容编码，但我的理解是 Lambda 函数的响应在 API Gateway 压缩之前仍然需要低于 6MB 限制。我对此不是 100% 确定，所以如果我错了，请有人纠正我。
好消息是 node.js 标准库现在通过 zlib 模块内置了对 gzip 的支持。我用它来压缩刚好超过 6MB 的响应，并将大小减少了大约 78%。这样做的缺点是我必须在我的 Angular 客户端应用程序中手动解压缩数据(为此我使用了 pako npm 库)。
像下面这样的东西对我来说效果很好(Typescript 4 + node.js 12):

import { APIGatewayEvent, APIGatewayProxyResult } from 'aws-lambda';
import { gzip } from 'zlib';

export const handler = async (event: APIGatewayEvent): Promise<APIGatewayProxyResult> => {
  const response = { some: 'data' };

  const gzippedResponse = await gzipString(JSON.stringify(response));

  return {
    statusCode: 200,
    body: JSON.stringify({ data: gzippedResponse.toString('base64') }),
  };
};

const gzipString = async (input: string): Promise<Buffer> => {
  const buffer = Buffer.from(input);
  return new Promise((resolve, reject) => gzip(buffer, (err, data) => {
    if (err) {
      reject(err);
    }
    resolve(data);
  }));
};