python - 如何解决 Python 中的内存错误

Question

我正在处理几个大的 txt 文件，每个文件大约有 8000000 行。这些行的一个简短示例是:

usedfor zipper fasten_coat
usedfor zipper fasten_jacket
usedfor zipper fasten_pant
usedfor your_foot walk
atlocation camera cupboard
atlocation camera drawer
atlocation camera house
relatedto more plenty

将它们存储在字典中的代码是:

dicCSK = collections.defaultdict(list)
for line in finCSK:
    line=line.strip('\n')
    try:
        r, c1, c2 = line.split(" ")
    except ValueError:
        print line
    dicCSK[c1].append(r+" "+c2)

它在第一个txt文件中运行良好，但是当它运行到第二个txt文件时，我得到一个错误MemoryError。

我正在使用带有 python 2.7 32bit、intel i5 cpu、8Gb 内存的 windows 7 64bit。我该如何解决这个问题？

进一步解释: 我有四个大文件，每个文件包含许多实体的不同信息。例如，我想查找 cat 的所有信息，它的父节点 animal 及其子节点 persian cat 等等。所以我的程序首先读取字典中的所有 txt 文件，然后我扫描所有字典以查找 cat 及其父亲和 child 的信息。

Answer 1

最简单的解决方案:您可能用完了虚拟地址空间(任何其他形式的错误通常意味着在您最终得到 MemoryError 之前运行很慢很长时间)。这是因为 Windows(和大多数操作系统)上的 32 位应用程序被限制为 2 GB 的用户模式地址空间(Windows 可以调整为 3 GB，但这仍然是一个较低的上限)。您有 8 GB 的 RAM，但您的程序不能使用(至少)其中的 3/4。 Python 有相当多的每个对象的开销(对象头、分配对齐等)，很可能仅字符串就使用了接近 GB 的 RAM，这是在您处理字典的开销之前，其余的你的程序，Python 的其余部分等。如果内存空间足够碎片，并且字典需要增长，它可能没有足够的连续空间来重新分配，你会得到一个 MemoryError .

安装 64 位版本的 Python(如果可以，出于其他原因，我建议升级到 Python 3)；它将使用更多内存，但随后，它将有访问到很多更多的内存空间(以及更多的物理RAM)。

如果这还不够，请考虑转换为 sqlite3数据库(或其他一些数据库)，因此当数据变得对主内存来说太大时，它自然会溢出到磁盘，同时仍然具有相当高效的查找。