java - 需要帮助设计 "infinite"线程

Question

我有一些数据库表，只要应用程序正在运行，就需要一次处理 5 条记录。所以，它看起来像这样:

1. 获取其他线程尚未处理或尚未处理的记录。
2. 处理它(这是一个漫长的过程，取决于互联网连接，因此它可能会超时/抛出错误)。
3. 移至下一条记录。当到达表格末尾时从头开始。

我对线程没有太多经验，所以我看到两种可能的策略:

方法 A.

1.新建ExecutorService:

ExecutorService taskExecutor = Executors.newFixedThreadPool(5);

2.向其中添加5个任务:

for (int i = 0; i < 5; i++) {
    taskExecutor.execute(new MyTask());
}

3.每个任务都会无限循环，即:从表中读取一条记录，处理它，然后得到另一条记录。

这种方法的问题是如何通知其他线程当前正在处理哪些记录。为此，我可以使用表中的“状态”字段，或者只使用一些保存当前正在处理的 ID 的 CopyOnWriteArraySet。

方法 B。

1.创建相同的ExecutorService:

ExecutorService taskExecutor = Executors.newFixedThreadPool(5);

2。有一个无限循环，选择需要处理的记录并将它们传递给执行程序:

while (true) {
    //get next record here
    taskExecutor.execute(new MyTask(record));
    //monitor the queue and wait until some thread is done processing,
    //so I can add another record
}

3.每个任务处理一条记录。

这种方法的问题是我需要将任务添加到执行程序队列中的速度比处理它们的速度慢，以免它们随着时间的推移堆积起来。这意味着我不仅需要监控当前正在运行的任务，还需要监控它们何时完成处理，以便我可以向队列中添加新记录。

我个人认为第一种方法更好(更容易)，但我觉得第二种方法更正确。你怎么认为？或者也许我应该做一些完全不同的事情？

如果需要，我也可以为此使用 Spring 或 Quartz 库。

谢谢。

Answer 1

我认为 CompletionService (和 ExecutorCompletionService )可以帮助你。

您通过完成服务提交所有任务，它允许您等待其中一个线程(任何线程)完成其任务。这样您就可以在有空闲线程时立即提交下一个任务。这意味着您使用方法 B。

伪代码:

Create ThreadPoolExecutor and ExecutorCompletionService wrapping it

while (true) {
  int freeThreads = executor.getMaximumPoolSize() - executor.getActiveCount()
  fetch 'freeThreads' tasks and submit to completion service (which
                                      in turn sends it to executor)

  wait until completion service reports finished task (with timeout)
}

等待超时可帮助您避免队列中没有任务的情况，因此所有线程都处于空闲状态，您一直在等待其中一个线程完成——这种情况永远不会发生。

您可以通过 ThreadPoolExecutor 检查空闲线程的数量方法:getActiveCount( Activity 线程)和getMaximumPoolSize(最大可用配置线程)。您将需要直接创建 ThreadPoolExecutor，或转换从 Executors.newFixedThreadPool() 返回的对象，尽管我更喜欢直接创建...有关详细信息，请参阅 Executors.newFixedThreadPool() 方法的源代码。