我正在尝试使用nightmareJS抓取网页并卡住。
在我的程序中,我将链接上的数组传递给函数,我需要从它们中获取相同的数据
该列表可能很长(超过60个),如果我尝试执行
async.each(Links, function (url, callback) {
var nightmare = Nightmare(size);
...
}
只有前几个实例实际上返回一个值,其他实例只是挂断并不会加载(空白页)。当我尝试仅执行三个实例时,它会完美地工作。
我该如何解决?我如何才能重新分配作品,例如并行分配三个作品,并且只有在全部完成后才能进行下一组创作?还有一种想法可能使用相同的实例,并为所有链接重复这些步骤吗?
最佳答案
有两种可能的解决方案:
使用eachSeries
的
async.each
中传递另一个参数,该参数限制了同时运行多少个操作。 关于node.js - 如何在不挂机的情况下执行多重 Nightmare 功能,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33134154/