java - HtmlUnit 关闭所有窗口内存泄漏

Question

HtmlUnit 似乎不会关闭网络客户端中的窗口，从而造成内存泄漏。我正在尝试使用 HtmlUnit 获取一个页面并将其传递给 JSoup 进行解析。我知道 JSoup 可以连接到一个页面，但我需要使用这种方法，因为我需要在解析它们之前在某些站点上保持登录 session 。

代码如下:

import java.io.IOException;
import java.net.MalformedURLException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;

public class HtmlUnitLeakTest {

public static void main(String args[]) throws FailingHttpStatusCodeException, MalformedURLException, IOException{

        WebClient webClient = new WebClient(BrowserVersion.CHROME);
        webClient.getOptions().setPrintContentOnFailingStatusCode(false);
        webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
        webClient.getOptions().setThrowExceptionOnScriptError(false);
        webClient.getOptions().setJavaScriptEnabled(true);
        webClient.getOptions().setCssEnabled(false);

        for(int i = 0; i < 500; i++){
            HtmlPage page = webClient.getPage("http://www.stackoverflow.com");
            Document doc = Jsoup.parse(page.asXml());
            webClient.closeAllWindows();
            System.out.println(i);
            if((i % 5 == 0)){
                System.out.println(i);
            }
        }
    }
}

随着此运行，内存不断攀升，在我的调试屏幕中，我可以看到所有窗口仍在 webclient 下引用并且没有关闭。

我已经看到这段代码应该关闭这些窗口:

List<WebWindow> windows = webclient.getWebWindows();
for (WebWindow ww : windows) {
    ww.getJobManager().removeAllJobs();
    ww.getJobManager().shutdown();
}
webclient.closeAllWindows();

但遗憾的是，它并没有发生，我仍然存在内存泄漏问题。

有人遇到过这个问题吗？

干杯

版本信息:

HtmlUnit 2.15

java version "1.7.0_51"

Java(TM) SE Runtime Environment (build 1.7.0_51-b13)

Java HotSpot(TM) 64-Bit Server VM (build 24.51-b03, mixed mode)

Answer 1

我有一段代码与您的代码非常相似，过去两天我一直在努力解决这个问题。我尝试了他们在网络上提到的所有内容，但我找不到解决方案 - 以至于我开始弄乱代码，突然之间，泄漏停止了。 我正在使用内存分析器工具，我的程序得到了使用 2gb ram(我在 jvm 参数中将其设置为 java 堆)的点，然后它在 20 分钟后崩溃了。现在已经运行1小时，内存占用稳定在10mb。

我做了什么？ 我已将 webClient 初始化放在 for 循环中:

public class HtmlUnitLeakTest {

   public static void main(String args[]) throws FailingHttpStatusCodeException, MalformedURLException, IOException{

    for(int i = 0; i < 500; i++){
    try{
        WebClient webClient = initializeClient();

        HtmlPage page = webClient.getPage("http://www.stackoverflow.com");
        Document doc = Jsoup.parse(page.asXml());
        webClient.closeAllWindows();
        System.out.println(i);
        if((i % 5 == 0)){
            System.out.println(i);
        }
    }finally {
            webClient.getCurrentWindow().getJobManager().removeAllJobs();
            webClient.close();
            System.gc();
            }
        }
    }

    private static WebClient initilizeCilent(){
    final WebClient webClient = new WebClient(BrowserVersion.CHROME);
    webClient.getOptions().setPrintContentOnFailingStatusCode(false);
    webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
    webClient.getOptions().setThrowExceptionOnScriptError(false);
    webClient.getOptions().setJavaScriptEnabled(true);
    webClient.getOptions().setCssEnabled(false);

    return webClient;
    }
}

我知道这在理论上是错误的方法，但我迫切希望它起作用，现在它起作用了! 如果您已经用更好(正确)的方法解决了问题，我也想知道!