java - Spring - 添加一个低优先级的多线程服务(不影响生产性能)

Question

我们有一个 Spring 应用程序，我想添加一个服务，该服务将使用多个线程处理 10Ks ID，但将作为后台进程而不影响实时生产。

服务将更新数据库并发送外部供应商请求。

我不希望服务影响/影响生产性能/时序，我想以低优先级对每个ID执行操作

我读了previous post关于在 Executer 中设置优先级，但我希望所有其他线程的优先级都低于该特定 Executer 范围。

使用 ThreadPoolExecutor 的答案是否与我的案例更相关？

ThreadPoolExecutor threadPool = new ThreadPoolExecutor(1, numOfWorkerThreads, 0L, TimeUnit.MILLISECONDS, new LinkedBlockingQueue<Runnable>());
threadPool.setThreadFactory(new OpJobThreadFactory(Thread.NORM_PRIORITY-2));

public final static class OpJobThreadFactory implements ThreadFactory {
 private int priority;
 public OpJobThreadFactory(int priority) {
  this(priority, true);
}

@Override
public Thread newThread(Runnable r) {
  Thread t = new Thread(r, namePrefix + threadNumber.getAndIncrement());
  t.setDaemon(daemon);
  t.setPriority(priority);
 }
}

• 甚至可以使用 Thread.MIN_PRIORITY

或者我可以使用 Executors.newCachedThreadPool()

Creates a thread pool that creates new threads as needed, but will reuse previously constructed threads when they are available. These pools will typically improve the performance of programs that execute many short-lived asynchronous tasks.

此外，我应该使用 Spring bean 吗？ 因为我需要按需/请求创建池，所以似乎不需要/错误

编辑 我应该使用 Spring Actuator 吗？获取此任务或其他监控工具？

Spring Boot Actuator module helps you monitor and manage your Spring Boot application by providing production-ready features like health check-up, auditing, metrics gathering, HTTP tracing etc. All of these features can be accessed over JMX or HTTP endpoints.

Answer 1

我想对这个问题做一些说明

什么是线程优先级？根据 java SE 文档

每个线程都有一个优先级。优先级较高的线程优先于优先级较低的线程执行。

即使您创建了具有优先级的线程，也不能完全保证优先级较低的线程首先执行，您可能不得不阻塞优先级较低的线程，直到其他线程执行完毕

对于小型 java 程序，您可以自己处理线程执行，但对于大型程序，建议您使用 java.util.concurrent 包中的 vanilla Java 的 Executor Framework 或使用 spring TaskExecutor。通过同时使用您可以异步执行任务的框架，这些任务在后台作为主任务的一部分执行。

对生产的影响:

例如，主要任务是调用您的其余端点，即 /account 并在调用您要向客户发送欢迎电子邮件的帐户端点时，这是第三方 API 调用可以使用 Executor Framework 或 Spring TaskExecutor 异步执行它们，即作为后台进程，它们不会对当前 API 产生影响，但它肯定会对生产服务器产生影响，因为您在同一个 JVM 中运行线程他们共享共同的内存。如果有许多线程被创建但没有被销毁。你的服务器肯定会宕机。

因此，使用 Executor Framework 或 Spring TaskExecutor 并不能保证它不会影响您当前的生产，它肯定会提高调用的其余 API 的性能。因为它是异步执行的并且在您的其他问题上执行

我可以使用 Executors.newCachedThreadPool()

是的，如果您有许多短期任务，例如更新数据库中的单个列或仅触发一次休息端点，并且它不适合批量加载或执行某些更新 10000 条记录的后端作业，因为它会为每个任务创建更多线程，您肯定会遇到内存问题。

另外，我应该使用 Spring bean 吗？因为我需要按需/请求创建一个池所以它似乎不需要/错误

是的，你可以使用 ThreadPoolTask​​Executor https://docs.spring.io/spring-framework/docs/current/javadoc-api/org/springframework/scheduling/concurrent/ThreadPoolTaskExecutor.html 根据文档将“queueCapacity”设置为 0 模仿 Executors.newCachedThreadPool() 。因此您可以使用 Spring TaskExecutor 或使用 vanilla Java 中的 Executor Framework 我个人建议使用 Spring TaskExecutor，它具有更多功能，可以让您更好地开始使用 Spring引用教程https://egkatzioura.com/2017/10/25/spring-and-async/这是一个好的开始

最终结论:如果您希望仅执行异步任务或后台进程，您可以使用 Java 中的 Executor Framework 或 Spring TaskExecutor，但两者都会对生产产生影响，因为它们使用相同的 JVM。如果您这样做根本不想影响生产然后我建议在不同的服务器上创建单独的 spring boot 应用程序并从新应用程序进行数据库调用或服务调用并将其公开为休息端点并使用 Spring Task 从您的主应用程序异步调用这些端点执行者。

Spring 任务执行器:https://egkatzioura.com/2017/10/25/spring-and-async/

Java 执行器框架:https://stackabuse.com/concurrency-in-java-the-executor-framework/

使用低优先级的线程: https://medium.com/@daniyaryeralin/priority-based-thread-pooling-in-spring-framework-d74b91b51dcb

抱歉，如果答案太长:)