java - 使用jsoup解析动态增长的网页

标签 java android html-parsing jsoup

我正在编写一个 Android 应用程序,用于解析网页、过滤其中的图像链接并将它们加载到 WebView 中。

它适用于静态页面,但我不知道如何处理向下滚动时动态添加内容的页面,例如 9gag , imgur 、 Facebook 等

这个问题有解决办法吗?我猜动态内容是由 JavaScript 处理的。也许有一种方法可以在解析页面之前调用此 JavaScript 代码?

如果有任何建议,我将不胜感激。

提前致谢。

最佳答案

您应该尝试查看动态页面发出的请求。 它们都使用动态分页模式或光标。 例如,Imgur 会使用这样的 url 发出请求。

https://imgur.com/gallery/hot/viral/page/4/hit?set=0

您指定页面的位置,集合是页面的一部分(通常最多为 3)

关于java - 使用jsoup解析动态增长的网页,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30153016/

相关文章:

Java CMS GC : can a minor GC occur between final remark and concurrent sweep?

java - Jersey/Spring/Grizzly 集成测试始终返回 500 - 无详细信息

java - SLF4J 桥接所需的配置文件

python - BeautifulSoup - 如何在不打开标签和 <br> 标签之前提取文本?

java - 使用属性更改监听器来更新 swing 组件

java - 预期的 Android Studio 类或接口(interface)

android - 不幸的是,应用程序停止在 android 中

ruby - Nokogiri 如何以正确的间距从 HTML 中提取文本?

Python:输入信息后从网络上抓取数据

android - 在 Android 中使用 SSL 下载文件