Java jsoup 使用线程不起作用

Question

我有类似这样的页面:

www.foo1.bar
www.foo2.bar
www.foo3.bar
.
.
www.foo100.bar

我正在使用库 jsoup 并使用线程同时连接到每个页面:

Thread matchThread = new Thread(task);
matchThread.start();

每个任务，像这样连接到页面，并解析 HTML:

Jsoup.connect("www.fooX.bar").timeout(0).get();

获取大量这些异常:

java.net.ConnectException: Connection timed out: connect
at java.net.PlainSocketImpl.socketConnect(Native Method)
at java.net.PlainSocketImpl.doConnect(PlainSocketImpl.java:351)
at java.net.PlainSocketImpl.connectToAddress(PlainSocketImpl.java:213)
at java.net.PlainSocketImpl.connect(PlainSocketImpl.java:200)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:366)
at java.net.Socket.connect(Socket.java:529)
at sun.net.NetworkClient.doConnect(NetworkClient.java:158)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:388)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:523)
at sun.net.www.http.HttpClient.<init>(HttpClient.java:227)
at sun.net.www.http.HttpClient.New(HttpClient.java:300)
at sun.net.www.http.HttpClient.New(HttpClient.java:317)
at sun.net.www.protocol.http.HttpURLConnection.getNewHttpClient(HttpURLConnection.java:970)
at sun.net.www.protocol.http.HttpURLConnection.plainConnect(HttpURLConnection.java:911)
at sun.net.www.protocol.http.HttpURLConnection.connect(HttpURLConnection.java:836)
at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:404)
at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:391)
at org.jsoup.helper.HttpConnection.execute(HttpConnection.java:157)
at org.jsoup.helper.HttpConnection.get(HttpConnection.java:146)

jsoup 是否只允许 1 个线程同时运行？或者我做错了什么？ 关于如何更快地连接到我的页面的任何建议，因为一个接一个地访问需要很长时间。

编辑:

所有700个线程都使用这个方法，也许这就是问题或者什么。这个方法可以处理这么多线程还是单例？

private static Document connect(String url) {
    Document doc = null;
    try {
        doc = Jsoup.connect(url).timeout(0).get();
    } catch (IOException e) {
        System.out.println(url);
    }
    return doc; 
}

编辑:整个线程代码

public class MatchWorker implements Callable<Match>{

private Element element;

public MatchWorker(Element element) {
    this.element = element;
}

@Override
public Match call() throws Exception {
    Match match = null;
            Util.connectAndDoStuff();
    return match;
}

}

我的 700 个元素:

    Collection<Match> matches = new ArrayList<Match>();
    Collection<Future<Match>> results = new ArrayList<Future<Match>>();

 for (Element element : elements) {
        MatchWorker matchWorker = new MatchWorker(element);
        FutureTask<Match> task = new FutureTask<Match>(matchWorker);
        results.add(task);

        Thread matchThread = new Thread(task);
        matchThread.start();
    }
    for(Future<Match> match : results) {
        try {
            matches.add(match.get());
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

Answer 1

我尝试过这个:

    ExecutorService executorService = Executors.newFixedThreadPool(5);
    List<Future<Void>> handles = new ArrayList<Future<Void>>();
    Future<Void> handle;
    for (int i=0;i < 12; i++) {
        handle = executorService.submit(new Callable<Void>() {

            public Void call() throws Exception {
                Document d = Jsoup.connect("http://www.google.hr").timeout(0).get();
                System.out.println(d.title());
                return null;
            }
        });
        handles.add(handle);
    }

    for (Future<Void> h : handles) {
        try {
            h.get();
        } 
        catch (Exception ex) {
            ex.printStackTrace();
        }
    }

    executorService.shutdownNow();

它几乎立即完成并打印正确的标题。也许您有防火墙问题？ (“连接超时”表示根本无法访问服务器)

编辑:

我使用了 JSoup 1.7.1

编辑^2:

AFAIK，这应该证明关系 JSoup - Thread 没有问题，因为它最终使用线程..

编辑^3:

此外，如果您使用代理，here这是您可以设置代理设置的方式。

编辑^4:

public static Document connect(String url) {
    Document doc = null;
    try {
        doc = Jsoup.connect(url).timeout(0).get();
    } catch (IOException ex) {
        ex.printStackTrace();
    }
    return doc;
}

并且重写了调用函数:

public Void call() throws Exception {                    
    System.out.println(App.connect("http://www.google.hr").title());
    return null;
}

给出相同的结果。我唯一能想到的是一些隐式静态同步，但这没有多大意义，因为存在超时异常:/请发布线程代码

编辑:

必须离开几个小时。这里我所有的三个类都重写了

• App
• Match
• MatchWorker

仍然可以工作，速度较慢，但​​是可以工作。我绝对推荐使用固定线程池来提高性能。

但是，我认为这一定是网络问题。祝你好运:)

编辑:

连接超时意味着根本无法到达目标服务器。 AFAIK，这意味着(服务器从未发送/客户端从未收到)TCP SYN+ACK message .

首先可以得出的结论是目标服务器不在线，但有more possible causes to this problem ，其中之一可能是目标服务器请求过载(极端情况下为 (D)DoS attack )。

目前，您尝试了并行方法 - 每个请求都在其自己的线程中:

1)在 700 个线程中发出 700 个请求(实际上不是 700 个，而是您的操作系统可以承受的数量)

2) 通过 n<<700 个线程的线程池发出 700 个请求

首先，您可以尝试在每个请求中放入 0 - 10 秒的随机 sleep 形式

Thread.currentThread.sleep(new Random().nextInt(10000)) 

但鉴于目前的结果，这可能行不通。下一件事是将并行方法替换为顺序方法，正如您在评论中提到的那样 - 每个请求都从单个主线程的 for 循环内部一个接一个地运行。您也可以尝试设置随机 sleep 。

这是你可以采取的最温和(最慢)的方式，如果这不起作用，我不知道如何解决这个问题:(

编辑:

通过使用 5 个线程的线程池，我成功下载了 1141 场足球比赛的标题。

• App
• Request

对于此类网站来说，保护其数据是合乎逻辑的，因此，当您进行开发和测试(使用重复调用尽可能多的线程运行)时，他们的系统很可能会识别出您的身份( r IP)作为一个爬虫，想要他们的所有数据，但他们显然不喜欢也不想要这样，所以他们禁止了你。他们只是决定甚至不拒绝你的请求，而是装死 - 因此连接超时。现在这是有道理的。唷:)

如果这是正确的，您应该能够通过代理获取数据，但要礼貌并使用 < 10 个线程的线程池:)