javascript - 为什么 Promise-Limit 在 Nodejs 中不起作用？

Question

我有大量图像想要下载。我正在使用 request-promise 包从其 URL 下载图像。由于存在大量图像，服务器过载，下载会挂起或损坏，因此我决定使用 promise-limit库来设置并发限制。这是我的代码:

const fs = require('fs');
const request = require('request-promise');
const promiseLimit = require('promise-limit');

var limit = promiseLimit(30);

async function download(data) {
    console.log(data);

    return Promise.all(data.map( (obj) => {
        return limit(() => downloadRequest(obj))
    })).then(() => {
        console.log("All images downloaded.")
    })

function downloadRequest(obj) {
    var img = obj.dest;
    var url = obj.url;
    var req = request(url);
    req.pipe(fs.createWriteStream(img));
}

我完全按照 github 页面中给出的方式复制了示例，但该方法在没有满足 Promise.all() 的情况下返回。我不明白我做错了什么，我认为 Promise.all() 肯定会等到它解决所有 promise 。

在后端，此调用用作

...
.then((data) => {
        return downloader.download(data);
    })
    .then(() => {
        var filename = "Sample.pdf";
// Pages.json is written early in the chain, contains URL and corresponding image paths
        return generator.generate('./Pages.json', filename); 
    });

这是否意味着 NodeJS 已经在尝试从 Pages.json 生成文件？如何让这部分代码同步下载？

Answer 1

您的函数downloadRequest()不会返回 promise 。它必须返回一个与 contains 中的异步操作相关联的 Promise，以便在异步操作完成时解决 Promise，或者在异步操作出现错误时拒绝 Promise。只有当它这样做时，limit() 包才能正确完成其工作。

由于您使用流并将其传输到 downloadRequest() 中，因此您必须手动构造一个 Promise，然后监视流中的各种事件以了解它何时完成或有一个错误，以便您可以解决或拒绝该 promise 。

这里有一个如何让 downloadRequest() 正确返回 promise 的想法:

function downloadRequest(obj) {
    return new Promise((resolve, reject) => {
        const img = obj.dest;
        const url = obj.url;
        const req = request(url);

        req.on('error', reject);

        const ws = fs.createWriteStream(img);
        ws.on('error', reject);
        req.pipe(ws).on('finish', resolve);
    });
}

并且，现在建议使用 pipeline() 函数而不是 .pipe()，因为它可以在错误情况下进行更完整的清理，并且还有一个该内置的 promise 版本:

const { pipeline } = require('stream/promises');

function downloadRequest(obj) {
    return pipeline(request(obj.url), fs.createWriteStream(obj.dest));
}

---

附注如果您不知道，request() 库已被弃用，建议您不要再在新项目中使用它。有一个可供选择的替代库列表 here ，所有这些也都有内置的 Promise 支持。我查看了各种选择，尝试了几个并决定使用 got()在我的工作中。