我有一个Stream<String>
并对其项目执行一些操作,其中包括处理字符串并将其写入文件。
使用以下常规代码并处理100万个项目,我遇到了OutOfMemoryError。
ExecutorService executorService = Executors.newFixedThreadPool(Runtime.getRuntime().availableProcessors())
stream.forEach { item ->
executorService.execute {
handle(item)
}
}
executorService.shutdown()
executorService.awaitTermination(1, TimeUnit.DAYS)
经过一些分析,我发现可运行任务不由 gc 处理,并且在 BlockingQueue 中保持 Activity 状态,直到应用程序失败。
为什么 ExecutorService 将完成的 Runnable 保留在队列中?以及如何清理它?
最佳答案
内存泄漏是因为 BlockingQueue 填满的速度比 ExecutorService 从中提取任务的速度更快。
这是因为使用 forEach
方法迭代流非常快,但任务运行时间更长。
这是我应用的解决方案
def processors = Runtime.getRuntime().availableProcessors()
ExecutorService executorService = new ThreadPoolExecutor(
processors, processors,
0L, TimeUnit.MILLISECONDS,
new LinkedBlockingQueue<Runnable>(1000),
new ThreadPoolExecutor.CallerRunsPolicy()
)
这基本上只是限制 BlockingQueue 大小并确保主线程在队列已满时接管作业。
感谢@JBNizet 和其他人在上述评论中提供的帮助。
关于java - 修复ThreadPool内存泄漏,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44893217/