我使用 puppeteer 和 Node js (express) 创建了抓取器。这个想法是当服务器收到 http 请求时,我的应用程序将开始抓取页面。
问题是我的应用程序是否一次收到多个 http 请求。抓取过程将一遍又一遍地开始,直到没有 http 请求命中。如何仅启动一个 http 请求并将另一个请求排队,直到第一个抓取过程完成?
目前,我已经尝试过node-request-queue代码如下,但没有运气。
var express = require("express");
var app = express();
var reload = require("express-reload");
var bodyParser = require("body-parser");
const router = require("./routes");
const RequestQueue = require("node-request-queue");
app.use(bodyParser.urlencoded({ extended: true }));
app.use(bodyParser.json());
var port = process.env.PORT || 8080;
app.use(express.static("public")); // static assets eg css, images, js
let rq = new RequestQueue(1);
rq.on("resolved", res => {})
.on("rejected", err => {})
.on("completed", () => {});
rq.push(app.use("/wa", router));
app.listen(port);
console.log("Magic happens on port " + port);
最佳答案
node-request-queue
是为request
包创建的,与express
不同。
您可以使用最简单的 Promise 队列库 p-queue 来完成队列。它具有并发支持,并且看起来比任何其他库都更具可读性。稍后您可以轻松地从 Promise 切换到像 bull
这样的健壮队列。
这是创建队列的方法,
const PQueue = require("p-queue");
const queue = new PQueue({ concurrency: 1 });
这是如何将异步函数添加到队列中的方法,如果您监听它,它将返回已解析的数据,
queue.add(() => scrape(url));
因此,您无需将路由添加到队列中,只需删除其周围的其他线路并保持路由器不变即可。
// here goes one route
app.use('/wa', router);
在您的路由器文件之一内,
const routes = require("express").Router();
const PQueue = require("p-queue");
// create a new queue, and pass how many you want to scrape at once
const queue = new PQueue({ concurrency: 1 });
// our scraper function lives outside route to keep things clean
// the dummy function returns the title of provided url
const scrape = require('../scraper');
async function queueScraper(url) {
return queue.add(() => scrape(url));
}
routes.post("/", async (req, res) => {
const result = await queueScraper(req.body.url);
res.status(200).json(result);
});
module.exports = routes;
确保将队列包含在路线内,而不是相反。在您的 routes
文件或运行 scraper 的任何位置仅创建一个队列。
这是抓取文件的内容,您可以使用任何您想要的内容,这只是一个工作虚拟,
const puppeteer = require('puppeteer');
// a dummy scraper function
// launches a browser and gets title
async function scrape(url){
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto(url);
const title = await page.title();
await browser.close();
return title
}
module.exports = scrape;
使用curl的结果:
这里是my git repo其中有带有示例队列的工作代码。
警告
如果您使用任何此类队列,您会发现您在同时处理 100 个结果时遇到问题,并且对 api 的请求将持续超时,因为队列中还有 99 个其他 url 等待。这就是为什么你必须稍后详细了解真正的队列和并发。
一旦您了解了队列的工作原理,有关 cluster-puppeteer、rabbitMQ、bull 队列等的其他答案届时将为您提供帮助:) 。
关于node.js - NodeJS HTTP 请求队列,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55192900/