java - 在 Java 中创建太多线程

Question

我在我的 Java 应用程序中使用线程来部分获取数据(使用网络调用)。我有一个方法(不在线程类中)，它创建一个给定大小的线程池 (最大 10-15) 并将它们用于网络调用，我多次调用该方法来自一个循环。

当我在慢速机器(3 GB RAM，Pentium-IV)上运行此应用程序时，一切正常，但当我在 iMac(32 GB RAM，i7 处理器)上运行它时，它创建了太多线程，有时大约 2,500 次并抛出内存不足错误。

我怀疑 JVM 没有在完成后立即将已完成的线程放回池中，因此它正在创建新线程。

即使在 iMac 上，如果我保持 Thread.sleep(1000);在我上面提到的 for 循环中，一切正常。虽然创建了大约 900 个线程。

以下是此应用程序的代码示例:

public ArrayList<String> getValuesForKeyFromMaps(String key, ArrayList<Meta> locations) throws InterruptedException, ExecutionException {

    int threadNum = locations.size(); // 10-15 at max

    ExecutorService executor = Executors.newFixedThreadPool(threadNum);
    List<FutureTask<ArrayList<String>>> taskList = new ArrayList<FutureTask<ArrayList<String>>>();

    for(final Meta location : locations){

        FutureTask<ArrayList<String>> futureTask_1 = new FutureTask<ArrayList<String>>(new Callable<ArrayList<String>>() {
            public ArrayList<String> call() throws Exception {
                // Service call
                return getValues(key, location);
            }
        });
        taskList.add(futureTask_1);
        executor.execute(futureTask_1);

    }

    ArrayList<String> values = new ArrayList<String>();

    // Wait until all results are available and combine them at the same time
    for (int j = 0; j < threadNum; j++) {
        FutureTask<ArrayList<String>> futureTask = taskList.get(j);
        values.addAll(futureTask.get());
    }
    executor.shutdown();
    return values;
}

如果我在 iMac 上使用下面的 for 循环调用上述方法，它会引发内存错误，因为它创建了大约 2,500 个线程。但它在速度较慢的机器上运行良好。

    for(String key : keySet){
        getValuesForKeyFromMaps(key, metaMap.get(key));
    }

并且，使用下面的代码，在 iMac 上，它可以在大约 900 个线程下正常工作。

    for(String key : keySet) {
        getValuesForKeyFromMaps(key, metaMap.get(key));
        Thread.sleep(200); // Sleeping for 200 ms
    }

如果我将上述 for 循环中的 hibernate 时间增加到 1000 ms， 它只会创建 30-50 个线程并且应用程序运行良好。

如何控制应用程序中允许的最大线程数？我打算在给定时间最多创建/使用 10-15 个线程，但 Java 创建的线程太多了。

Answer 1

创建过多线程的不是 Java，而是 Java。你是!

不要在每次调用函数时都创建一个执行器。如果您有 100 个集合，每个集合包含 100 个元素，您将创建 10,000 个线程——这非常耗费资源……而且毫无意义。

ExecutorService executor = Executors.newFixedThreadPool(threadNum);

您很可能有 8 个核心 - 只需创建一个具有 8 个线程的执行器并在任何地方使用它。您的代码将运行得更快，您的应用程序将消耗更少、更少的资源。

熟悉这个 code review singleton executor题。您或许能够在您的应用程序中使用该解决方案。