java - Crawler4j vs. Jsoup Java 页面爬取解析

Question

我想获取页面的内容并提取其中的特定部分。据我所知，此类任务至少有两种解决方案:Crawler4j和 Jsoup .

它们都能够检索页面内容并提取其中的子部分。我唯一不确定的是，它们之间有什么区别？有一个similar question ，标记为已回答:

Crawler4j is a crawler, Jsoup is a parser.

不过我查了下，Jsoup除了解析功能，还可以抓取页面，而Crawler4j不仅可以抓取页面，还可以解析页面内容。

Crawler4j和Jsoup有什么区别？

Answer 1

抓取不仅仅是检索单个 URI 的内容。如果您只想检索某些页面的内容，那么使用 Crawler4J 之类的东西并没有真正的好处。

让我们来看一个例子。假设您要抓取一个网站。要求是:

1. 给出基本 URI(主页)
2. 从每个页面获取所有 URI，并检索其中的内容。
3. 针对您检索到的每个 URI 递归移动。
4. 仅检索本网站内部 URI 的内容(可能有引用其他网站的外部 URI，我们不需要这些)。
5. 避免循环抓取。页面 A 具有页面 B(同一站点)的 URI。页面 B 具有页面 A 的 URI，但我们已经检索到页面 A 的内容(关于 页面具有指向 主页 页面的链接，但我们已经获取了页面 A 的内容Home 页面，所以不要再次访问它)。
6. 爬取操作必须是多线程的
7. 网站很大。它包含很多页面。我们只想检索从 Home 页面开始的 50 个 URI。

这是一个简单的场景。尝试用 Jsoup 解决这个问题。所有这些功能都必须由您来实现。 Crawler4J 或与此相关的任何爬虫微框架，将或应该具有上述操作的实现。当您决定如何处理内容时，Jsoup 的强大品质就会闪耀。

让我们看一下解析的一些要求。

1. 获取页面的所有段落
2. 获取所有图片
3. 删除无效标签(不符合 HTML 规范的标签)
4. 删除脚本标签

这就是 Jsoup 发挥作用的地方。当然，这里有一些重叠。 Crawler4J 或 Jsoup 可能有一些事情是可能的，但这并不能使它们等同。您可以删除从 Jsoup 中检索内容的机制，并且仍然是一个很棒的工具。如果 Crawler4J 删除检索，那么它将失去一半的功能。

我在现实生活场景中的同一个项目中使用了它们。 我利用Crawler4J的优势爬取了一个站点，解决了第一个例子中提到的所有问题。然后我将检索到的每个页面的内容传递给 Jsoup，以便提取我需要的信息。我可以不使用其中之一吗？是的，我可以，但我将不得不实现所有缺失的功能。

因此不同，Crawler4J 是一个爬虫，有一些简单的解析操作(你可以在一行中提取图像)，但没有实现复杂的 CSS查询。 Jsoup 是一个解析器，可为您提供用于 HTTP 请求的简单 API。对于任何更复杂的事情，都没有实现。