html - 使用自定义爬虫访问分页中的所有页面

Question

我已经使用 jsoup 构建了一个自定义爬虫。我能够从特定列表页面中删除所有数据。但是对于有分页的页面，我如何从分页元素中获取链接。就像亚马逊、ebay 等中存在的任何零售列表一样，我将产品列表第一页的 URL 传递给 jsoup。它工作正常。但是我如何自动化获取剩余页面链接的过程。

我知道我可以通过对分页类进行硬编码来获取元素。但我正在寻找一种通用的方法。

Answer 1

    for (int i = 1; i < 10; i++) {
        String url = "http://exampleurl.com/index.php?page=" + i;
        Document doc = Jsoup.connect(url).get();
    }

希望这能带来一些启发。该代码将通过分页遍历网站中的十个页面。