python - Python 中使用 ThreadPool 进行多线程处理

Question

我将 C++ 渲染器 翻译为 Python。 C++ 渲染器使用每个线程渲染图像的一部分。我想在 Python 中做同样的事情。然而，与我的单线程代码版本相比，我的多线程代码版本似乎需要很长时间。我是 Python 中的多处理新手，因此想知道下面的代码是否确实实现了我的想法:创建线程池，添加并执行一些任务并等待所有任务完成？

我知道我无法与我的 C++ 版本竞争，但我希望至少能击败单线程 Python 版本。

多线程代码

from multiprocessing.pool import ThreadPool

pool = ThreadPool(processes=4)
pool.map(run_task(...), range(11))
pool.close()
pool.join()

单线程代码

for i in range(11):
    Task(...)(i)

任务代码

def run_task(...):
    task = Task(...)
    return task.__call__

class Task():
    def __init__(self, ...):
        ...
    def __call__(self, i):
        ...

编辑:我尝试使用from multiprocessing import Pool。这似乎阻止了我在 Canopy IDE 中的 Python 终端。当我从 Windows 命令行运行该文件时，我收到:

C:\Users\Matthias\Documents\Courses\Masterproef\pbrt\Tools\Permeability\src>pyth
on renderer.py
Exception in thread Thread-2:
Traceback (most recent call last):
  File "C:\Users\Matthias\AppData\Local\Enthought\Canopy\App\appdata\canopy-1.5.
2.2785.win-x86_64\lib\threading.py", line 810, in __bootstrap_inner
    self.run()
  File "C:\Users\Matthias\AppData\Local\Enthought\Canopy\App\appdata\canopy-1.5.
2.2785.win-x86_64\lib\threading.py", line 763, in run
    self.__target(*self.__args, **self.__kwargs)
  File "C:\Users\Matthias\AppData\Local\Enthought\Canopy\App\appdata\canopy-1.5.
2.2785.win-x86_64\lib\multiprocessing\pool.py", line 342, in _handle_tasks
    put(task)
PicklingError: Can't pickle <type 'instancemethod'>: attribute lookup __builtin_
_.instancemethod failed

(这也是为什么我通常更喜欢线程而不是进程。所以 GIL 设计决策对我来说没有真正的意义。)

Answer 1

您应该使用进程池而不是线程池(请参见第一个示例 here )。

由于 CPython 的 GIL，多线程不应用于 CPU 密集型任务。 .

也许这个简短的示例会有帮助(我们称之为 example.py):

from multiprocessing import Pool
import sys

if __name__ == '__main__':

    job_list = [xrange(10000000)]*6

    if 'p' in sys.argv:
        p = Pool(2)
        print("Parallel map")
        print(p.map(sum, job_list))
    else:
        print("Sequential map")
        print(map(sum, job_list))

我的机器有 2 个核心，example.py p(并行)版本的速度是顺序版本的两倍。如果我们减少需要完成的工作量(将十个数字相加而不是一千万)，那么顺序版本会获胜，因为在并行版本中创建进程和委派任务会产生不必要的开销。