java - jsoup 不抓取所有元素?

标签 java web-scraping jsoup

jsoup

当从具有 200 个元素的网站中抓取数据时,输出仅为 200 个元素中的前 49 或 50 个元素,为什么? - 我该如何解决这个问题。获取所有 200 个元素数据?``

Document d = Jsoup.connect("https://www.ebay.com/sch/i.html?_from=R40&_trksid=p2047675.m570.l1313.TR0.TRC0.H0.Xsilver.TRS0&_nkw=silver&_sacat=0").timeout(6000).get();
Elements ele = d.select("div#ResultSetItems");

for (Element element : ele.select("li.shic")) {
    String img_url = element.select("li").attr("listingid");
    System.out.println(img_url);
}

最佳答案

其他元素由 Javascript 按需获取,这在当今很常见,因此它们对 JSoup 是不可见的。无法让 JSoup 执行这些获取,因此您必须想出一种比抓取更好的方法来获取该数据。我建议你看看API options that EBay offers .

关于java - jsoup 不抓取所有元素?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44844039/

相关文章:

ruby - 如何使用 Mechanize 解析本地文件

java - JSoup 从不包含任何 html 节点的表 td 中提取文本

java - 不能在bean类中有循环引用,但是得到了class类org.apache.avro.Schema的循环引用

java - 在大型应用程序中处理事务管理

Java Html 解析器提取特定数据?

python - BeautifulSoup 4 : Remove comment tag and its content

java - 使用 jsoup 处理网页中的分页

java - 使用 Jsoup 仅删除 html 标签并保留标签内的文本

java - Android ListView 未在滚动时重新绘制

java - Java获取MYSQL数据库大小