我想用 JSoup 抓取一个网站。该网站是动态的,大约每秒更新一次。我很确定它使用 JQuery,它会更新 HTML 中的一些标签。我正在使用 JSoup,但动态区域是空白的。 JSoup 有什么特别的方法可以解决这个问题吗?或者这是一个限制? 编辑:我打算将其放入我网站上的 Java 小程序中。
最佳答案
听起来您希望 JSoup 的行为像一个支持 JavaScript 的浏览器。 恐怕那行不通。 JSoup 是一个可以执行 HTTP 请求,然后使用响应主体做一些有用的事情的工具。
这个“有用的东西”是从响应中的 (X)HTML 文本中提取信息。 如果您想在加载注入(inject) JavaScript 的 HTML 页面(= 动态网页)后获取后续 ajax 请求的内容,您需要自己对这些后续请求进行建模,并指示 JSoup 为您手动执行这些请求。
关于Java-使用 JSoup 抓取动态网站,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14802493/