python - 限制多线程中使用的资源

Question

我一直在并行化调用 myfunc 和 threading.Thread 的代码，如下所示:

def myfunc(elt,other):
    subprocess.call("A matlab script that takes a while to execute")


allThreads = []

for elt in allElts:
    allThreads.append(threading.Thread(target=myfunc,args=(elt,other)))
for t in allThreads:
    t.start()
for t in allThreads:
    t.join()

由于数据量很大，我遇到了内存问题:我的一些 subscribe.call 引发了内存问题，无法分配。为了避免这个问题，我尝试将同时执行的线程数限制为 8 个。我将上面的代码更改为以下内容:

someThreads = []
k = 0
for k in range(len(allElts)):
    if k%8 == 1:
        for t in someThreads:
            t.start()
        for t in someThreads:
            t.join()

        someThreads = []
        someThreads.append(threading.Thread(target=myfunc,args=(allElts[k],other)))

    else:
        someThreads.append(threading.Thread(target=myfunc,args=(allElts[k],other)))
    k += 1

这应该最多创建 8 个线程并执行它们。 但是，这段代码的结果与我之前得到的结果不同，显然是错误的。有什么问题吗？

Answer 1

线程直到k%8 == 1才启动，然后一个新的线程被添加到一个新的someThreads，但没有启动.

这意味着在循环结束时，someThreads 中至少有一个线程不会通过调用 t.start() 开始。

相反，使用 multiprocessing ThreadPool :

import multiprocessing as mp
import multiprocessing.pool as mpool
pool = mpool.ThreadPool(8)

for elt in allElts:
    pool.apply_async(myfunc, args=(elt,other))    

pool.close()
pool.join()