我正在学习使用 JSoup(慢慢地)来解析网站的源代码，但我觉得自己已经到了穷途末路的地步。也就是说，我不完全确定我应该研究哪些方法。
理论上，我想开发一个应用程序来筛选特定的搜索页面(即 Google、Monster、Craigslist、eBay 等)并提取某些数据。这些数据可能位于第一页，但也可能位于列表中的 10 多页(在 Google 中，显然可能有数百页)。无论是搜索结果 (Google)、职位发布 (Monster) 还是待售商品 (Craigslist/eBay)，我该如何完成这项工作？
我直到最近才知道 JSoup。而且我并没有“坚持”使用它。但是，我的研究让我相信使用 JSoup 会给我想要的结果。所以，我正在尝试学习如何使用它来做我想做的事情。 (如果有人知道任何广泛的初学者教程，请告诉我)
那么我应该如何去做呢？我知道这是一个模糊的问题，但我有一个目标，但我不确定如何实现它。
我还考虑过使用/搜索可用的 RSS 提要(即 Craigslist)。这是否也是可能的，并且比尝试直接从站点/源代码中提取更容易或更困难？
最重要的是，如果有新信息出现(Craigslist/eBay 上出售的新元素、Monster 上的新工作等)，我希望能够向用户发送通知。我知道一个单独的主题，一个我可以确定我可以确定。
提前致谢!
最佳答案
您的回答有点模糊，所以我会尽力涵盖尽可能多的内容。
Jsoup 是一个 HTML/XHTML 解析器 库。这意味着它可以向某个 url 发出 GET 或 POST 请求并获取服务器生成的内容。然后它解析此内容以使用 java 对象构建 DOM 表示形式。
问题是你的例子。您提到了 Google 和 Monster。据我所知，这些网站使用 Ajax 来从服务器检索内容。他们使用 javascript 来生成动态内容。 Jsoup 无法处理 javascript 生成的内容。这是由于它无法执行javascript。它当然可以“看到”它，因为它包含在服务器的响应中，但它将它视为简单的文本，而不是代码。浏览器可以处理此类内容，因为浏览器包含 javascript 执行引擎。
一般来说，从源的 API 获取内容更安全/更好/更容易。它是否提供rss feed或API？然后使用它。例如Google provides a way以编程方式执行搜索查询。
如果源未提供访问它的编程方式，那么当且仅当内容是静态时，您才可以使用 Jsoup 解析内容。为了确定内容是静态的还是由 javascript 生成，请访问您要解析的网站并按 Ctrl + U。当您向网站发出请求时，HTML 的网格是 Jsoup 将收到的内容。如果其中没有包含您需要的内容，则该内容是动态的。在这种情况下，您必须使用 headless browser ，这是一个库/框架，其中包括 javacript 执行引擎。这样你就可以100%模拟浏览器了。
就教程而言，this将满足您有关 Jsoup 的所有需求。如果内容是javacript生成的，那么你可以使用 headless 浏览器检索它，然后通过解析已经检索到的内容来使用Jsoup，只是为了解析而不是获取内容。
我提供的 Material 足以让您继续研究。为了获得更好的信息，您必须具体说明您面临的问题。
更新
关于java - 使用 JSoup 和 Android Studio 从网站或 rss feed 收集信息，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/33194023/