node.js - Node.js Web抓取优化

Closed. This question is off-topic。它当前不接受答案。












                            想改善这个问题吗？ Update the question，所以它是on-topic，用于堆栈溢出。

                        4年前关闭。



任务：

从网页上抓取HTML
解析HTML
清理数据（删除空白，执行基本的正则表达式）
将数据持久保存到SQL数据库。

目标是尽快完成这四个任务，这是一些可能的示例方法。

可能的样本方法

多步骤1：刮除所有页面并将html存储为.txt文件。将所有html存储为文本后，运行一个单独的模块来解析/清除/保留数据。

多步骤2：抓取/解析/清除数据并将其存储在.txt文件中。运行一个单独的模块以将数据插入数据库。

一步：一步一步地抓取/解析/清理/持久化数据。

假设：

1个专用服务器用于抓取
磁盘空间是无限的
互联网连接是您的平均家庭连接
记忆体（8GB）
在任何网页上都没有速率限制
用户想抓取一百万页

我没有对node.js进行足够的测试来建立最佳实践，但是对优化这些任务的任何见解将不胜感激。

显然，存在一些未解决的问题（典型页面上有多少html，您要解析多少，请求/响应延迟，正在使用什么框架来解析数据等），但是有一个高级的最佳实践/关键考虑将是有益的。谢谢。

最佳答案

遇到这样的问题，您只能预见将真正控制瓶颈的某些方面。因此，您从一个聪明但不复杂的实现入手，并花费大量时间弄清楚如何衡量性能以及瓶颈在哪里。

然后，根据瓶颈所在的知识，您提出了建议的设计更改，实施了该更改，并查看了您在总体吞吐量方面有多大的变化。然后，您再次进行测量，再次进行测量，看看您的新瓶颈在哪里，提出关于如何克服该瓶颈，实施，测量，理论化，迭代等的新理论。

您真的不想过度设计或过于复杂的第一个实现，因为很容易弄错真正的瓶颈在哪里。

因此，我可能会从这样的设计开始：

创建一个node.js进程，该进程除了下载页面并将它们写入磁盘外，它绝对没有什么。到处都可以通过异步I / O使用任何内容，并且可以对其进行一次同时运行的页面下载数量进行配置。不进行解析，仅将原始数据写入磁盘。您将需要找到一种非常快速的方法来存储哪个URL就是哪个文件。这可能只是将信息附加到文本文件中，也可能是数据库写操作，但是您的想法是，您只是希望它速度很快。

然后，创建另一个node.js进程，该进程反复从磁盘中获取文件，进行解析，清理数据并将数据持久保存到SQL数据库中。

独自运行第一个node.js进程，直到它收集1000个网页或15分钟（以先到者为准）开始运行，以衡量您最初具有的吞吐量。在运行时，请注意计算机上的CPU利用率和网络利用率。如果您已经掌握了第一个node.js流程可能需要的条件，那么您就完成了第一个node.js流程。如果您希望它运行得更快，那么您需要找出瓶颈所在。如果您受CPU限制（不太可能执行此I / O任务），则可以对这些node.js进程进行集群并运行多个进程，为每个进程提供一组要获取的URL，并在单独的位置写入其收集的数据。您很有可能受I / O约束。这可能是因为您没有完全饱和现有的网络连接（node.js进程在等待I / O上花费了太多时间），或者您已经饱和了网络连接，现在这已成为瓶颈。您将必须找出其中的哪一个。如果您添加更多同时进行的网页抓取操作，并且性能没有提高甚至下降，则可能是您的Web连接已经饱和。您还必须注意node.js中的文件I / O子系统是否饱和，该子系统使用限制线程池来实现异步I / O。

对于第二个node.js流程，您遵循类似的流程。给它1,000个网页，看看它能以多快的速度处理它们。由于您确实有I / O可以从磁盘读取文件并写入数据库，因此您希望一次解析多个页面，以便在读取或写入一页时最大程度地利用CPU。出来。您可以编写一个node.js流程以一次处理多个解析项目，也可以将单个node.js流程聚类。如果您的服务器中有多个CPU，那么您将希望至少拥有尽可能多的进程。与URL提取程序不同，解析代码可能会经过认真优化以提高速度。但是，像其他性能问题一样，在您知道自己受CPU限制并阻止您运行之前，不要尝试过度优化该代码。

然后，如果您的SQL数据库可以在另一个盒子上，或者至少使用另一个磁盘，那可能是一件好事，因为它将数据库中的磁盘写入与其他磁盘中的磁盘分开。

最初几个步骤之后的去向将完全取决于您从前几个步骤中学到的知识。您测量瓶颈所在的能力以及设计快速实验以测试瓶颈理论的能力，对于快速取得进展并且不会因错误的优化而浪费开发时间非常重要。

仅供参考，某些家庭互联网连接ISP可能会触发一些有关您的数据请求量和速率的警报。从一个ISP到下一个ISP，他们对这些信息的处理方式可能会相差很大。我认为大多数人最终都可以对您的连接进行速率限制，以保护共享同一管道的其他人的服务质量，但是我不知道他们何时/是否这样做。

这听起来像是一个非常有趣的项目，可以尝试进行优化并从中获得最大收益。对于中高级软件类来说，这将是一个不错的最终项目。

关于node.js - Node.js Web抓取优化，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/32556142/

上一篇：node.js - 如何在不使用 grunt 或 gulp 的情况下在 Node JS 中检查 LESS 和 SCSS 文件？

下一篇：node.js - 如果sequelize.sync({force :true}) is called之后不存在，则将记录插入表中

python - 如何使用 Python 抓取特定字段(如下面的 HTML 代码所示)？

javascript - 如何像可选的异步回调一样实现 mocha？

javascript - 回调中的空数组

node.js - 为什么我不能使用node.js将对象插入到mongodb中？

python - 如何使用请求从网站上抓取不同职位的标题？

python - 如何将包含跨越多列的单元格的 html 表格转换为 Python 3 中的列表列表？

node.js - Azure Web 应用程序意外 "Bad Request"

node.js - ubuntu无法安装jsdom

functional-programming - 使用 Scheme 抓取网页