node.js - 通过 Node.Js 生成的管道 Amazon S3 下载流导致下载不完整

Question

我目前正在尝试从 Amazon S3 下载加密文件，并通过我正在生成的 GPG 解密将其传输。我正在使用 Node 的 aws-sdk ( https://github.com/aws/aws-sdk-js )。

下载通常可以工作，但在较慢的网络连接上(我通过限制网络进行测试)，文件下载将挂起几秒钟，并且文件将被截断(大小不匹配)。该文件现在也已损坏。我相信问题出在生成的某个地方，因为由于流较慢，它可能无法正确关闭或完成响应。

我下载文件的代码:

let params = {Bucket: Bucket, Key: Key};
let readStream = s3.getObject(params).createReadStream();
gpg.decrypt(readStream, res); // res is express response object`

我的代码用于解密文件，然后将其通过管道传输到响应:

gpg.decrypt = function(inputStream, res) {
    let cp = require('child_process');
    let decryptionArgs = ['--decrypt', '--batch', '--yes', '--no-tty', '--passphrase', 'mypassphrase'];
    let gpg = cp.spawn('gpg', decryptionArgs);
    inputStream.on('error', (err) => res.status(500).json(err));
    gpg.on('error', (err) => res.status(500).json(err));
    inputStream.pipe(gpg.stdin);
    gpg.stdout.pipe(res);
}

我将 Content-Type 设置为 application/octet-stream 并将 Content-Disposition 设置为 attachment；文件名=“文件名”

更新: 我解决了这个问题，以防万一这对某人有帮助。在较慢的网络连接上(通过限制网络进行测试)，gpg.stdout 将变为非管道连接。我通过为 unpipe 事件设置事件监听器来测试这一点。我能够通过使用缓冲区来解决这个问题。我仍然将输入文件流通过管道传输到我的 gpg 生成点，但我不是将输出通过管道传输到响应，而是逐 block 写入响应 block :

gpg.decrypt = function(inputStream, res) {
    let cp = require('child_process');
    let decryptionArgs = ['--decrypt', '--batch', '--yes', '--no-tty', '--passphrase', 'mypassphrase'];
    let gpg = cp.spawn('gpg', decryptionArgs);
    inputStream.on('error', (err) => res.status(500).json(err));
    gpg.on('error', (err) => res.status(500).json(err));

    gpg.on('close', () => res.end());
    gpg.stdout.on('data', (chunk) => res.write(chunk));
    inputStream.pipe(gpg.stdin);
}

Answer 1

我不是 JS 专家，但做过相当多的低级原始 HTTP 工作，这就是我看到的问题。

inputStream.on('error', (err) => res.status(500) ...

这似乎只能(正确地)处理在获取文件的过程中很早发生的错误。

如果稍后发生错误，一旦开始输出，就太晚了，因为http响应已经开始，200 OK已经发送到客户端。一旦您开始流式传输响应...您就会看到这里的困境。

我认为没有明显+简单的方法可以同时流式传输响应并优雅地处理后期错误，并且根据环境如何处理此问题，JSON 甚至可能会进入响应的尾部...更改将截断的文件转换为末尾有噪音的截断文件。

但是如果您知道解压后输出的预期字节长度，那么您似乎应该能够设置Content-Length响应 header 。当你的传输失败并且输出被截断时，用户代理(浏览器、curl 等)最终应该意识到内容太短并抛出错误......没有办法及时返回去做更多其他事情，唯一的其他选择是不使用流式传输——下载、解密、验证、返回...但这对您来说可能也不可行。