java - java读取动态网页内容

Question

我在阅读网页内容时需要帮助。目前我正在使用以下方法阅读内容

BufferedReader in = new BufferedReader(new InputStreamReader(page.openStream())); 
String inputLine;
while ((inputLine = in.readLine()) != null)
{Content = Content + inputLine;}

但是这种方法有一个问题。 .一些 jsp 页面中有 ajax，它随机更新网页的 css 类，就像这样 Javascript 代码只是为了提供一个想法:

if (request.readyState === 4 && request.status === 200) 
{
var type = request.getResponseHeader("Content-Type");
$('.update').empty();
$('.update').append(request.responseText); //update the css class
}

因此，当通过我上面提到的 java 方法读取此页面阅读器时，我得到

<div class="update"></div>

虽然在屏幕上这个类是有值的。 但是现在，如果我先保存页面(通过在 Firefox 中单击另存为)，那么 jquery 附加在 CSS 类中的值也是可见的。 有没有一种方法或方式可以让我读取值或像 firefox 那样通过保存页面获取值。我想读取整个网页的内容，其中包含字符串中的 Ajax 值。

一方面，我读到这很困难，因为 JAvascript 由浏览器呈现和执行，所以我想知道 firefox 是否有任何可能有用的 api？如有任何建议，我们将不胜感激。

Answer 1

您可能会发现以下项目很有用:

• HTMLUnit

这里还有一个very informative blog post来自数据大爆炸。