java - 在等待 WebService 调用时将线程用于不同的东西

Question

<分区>

Answer 1

处理此问题的正常方法是拥有比 CPU 更多的线程，并依靠线程调度程序在线程之间切换。

例如...假设有2个核心和3个或更多线程

1. 服务器接受请求 R1 并开始在核心 C1 上运行的线程 T1 上处理它。
2. 服务器接受请求 R2 并开始在核心 C2 上运行的线程 T2 上处理它。
3. 服务器接受请求 R3 并将其分派(dispatch)给线程 T3。 T3 目前无法运行(没有空闲内核)，因此它等待安排。
4. T1 到达将请求发送到其他服务的点。发送请求，T1 阻塞等待回复。这释放了核心 C1。
5. T3 计划在 C1 上运行，并且请求 R3 的处理正在进行中。

基本上，阻塞、解除阻塞和调度都是由 Java 和操作系统在幕后处理的。如果您使用的是 Servlet，容器将处理工作线程池并将请求分派(dispatch)给线程。

这适用于多达一百个左右的¹ 线程；即同时处理一百个左右的请求。除此之外，太多线程(例如线程堆栈内存)和太多调度/上下文切换的开销会影响吞吐量。到那时，您需要研究一个支持异步处理的框架²，其中线程在请求​​之间切换而不是阻塞。

---

^{1 - 线程过多对性能的影响取决于多种难以预测的因素。}

^{2 - Servlet 3.0 规范支持异步请求处理，因此如果您需要这个，请寻找支持 Servlet 3.0 的 Web 容器；例如Tomcat 7 或更高版本。}