Python线程 - 内部缓冲区错误 - 内存不足

Question

我制作了一个简单的网络爬虫，使用 urllib 和 beautifulsoup 从网页上的表格中提取数据。为了加快数据拉取速度，我尝试使用线程，但出现以下错误: “内部缓冲区错误:内存分配失败:增加缓冲区” 此消息出现了很多次，然后指出: “内存不足”

感谢您的帮助。

from bs4 import BeautifulSoup
from datetime import datetime
import urllib2
import re
from threading import Thread

stockData = []

#Access the list of stocks to search for data
symbolfile = open("stocks.txt")
symbolslist = symbolfile.read()
newsymbolslist = symbolslist.split("\n")

#text file stock data is stored in
myfile = open("webcrawldata.txt","a")

#initializing data for extraction of web data
lineOfData = ""
i=0

def th(ur):
    stockData = []
    lineOfData = ""
    dataline = ""
    stats = ""
    page = ""
    soup = ""
    i=0
    #creates a timestamp for when program was won
    timestamp = datetime.now()
    #Get Data ONLINE
    #bloomberg stock quotes
    url= "http://www.bloomberg.com/quote/" + ur + ":US"
    page = urllib2.urlopen(url)
    soup = BeautifulSoup(page.read())
    #Extract key stats table only
    stats = soup.find("table", {"class": "key_stat_data" })
    #iteration for <tr>
    j = 0
    try:
        for row in stats.findAll('tr'):
            stockData.append(row.find('td'))
            j += 1
        except AttributeError:
            print "Table handling error in HTML"
    k=0
    for cell in stockData:
        #clean up text
        dataline = stockData[k]
        lineOfData = lineOfData + " " + str(dataline)
        k += 1
    g = str(timestamp) + " " + str(ur)+ ' ' + str(lineOfData) + ' ' +  ("\n\n\n")    
    myfile.write(g)
    print (ur + "\n")
    del stockData[:]
    lineOfData = ""
    dataline = ""
    stats = None
    page = None
    soup = None
    i += 1

threadlist = []

for u in newsymbolslist:
    t = Thread(target = th, args = (u,))
    t.start()
    threadlist.append(t)

for b in threadlist:
    b.join()enter code here

Answer 1

您启动的每个线程都有一个线程堆栈大小，即 8 kb by 默认在 Linux 系统中(参见 ulimit -s)，因此您的线程所需的内存总数将超过 20 GB。

您可以使用线程池，例如 10 个线程；当一个 完成了它的工作，它有另一项任务要做。

但是:一般来说，运行比 CPU 核心更多的线程是无稽之谈。所以我的 建议是停止使用线程。您可以使用像 gevent 这样的库到 在不使用操作系统级线程的情况下做完全相同的事情。

gevent 的好处是猴子修补:你可以告诉 gevent 改变 Python 标准库的行为，这将改变你的 线程透明地进入“greenlet”对象(参见 gevent 文档 更多细节)。 gevent提出的并发类型是 特别适合您正在执行的密集型 I/O。

在您的代码中，只需在开头添加以下内容:

from gevent import monkey; monkey.patch_all()

您不能同时打开超过 1024 个文件描述符 Linux 系统默认(参见 ulimit -n)所以你必须增加 如果您希望同时打开 2700 个文件描述符，则此限制。