具有 60GB RAM 的 Ubuntu 14.04 上的 Python 2.7.10(通过 conda)。
在 IPython 笔记本中处理大型数据集。即使我阅读了“顶级”信息,仍会出现 MemoryErrors,但仍有许多 GB 可供进程增长。这是“顶部”的代表性摘录:
KiB Mem: 61836572 total, 61076424 used, 760148 free, 2788 buffers
KiB Swap: 0 total, 0 used, 0 free. 31823408 cached Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
81176 ubuntu 20 0 19.735g 0.017t 3848 R 100.9 30.3 12:48.89 /home/ubuntu/miniconda/envs/ds_notebook/bin/python -m ipykernel -f /run/user/1000/jupyter/kernel-4c9c1a51-da60-457b-b55e-faadf9ae06fd.json
80702 ubuntu 20 0 11.144g 9.295g 8 S 0.0 15.8 1:27.28 /home/ubuntu/miniconda/envs/ds_notebook/bin/python -m ipykernel -f /run/user/1000/jupyter/kernel-1027385c-f5e2-42d9-a5f0-7d837a39bdfe.json
所以这两个进程使用了超过 30GB 的地址空间和大约 26GB 的常驻空间。 (所有其他进程都很小。)
我的理解(以及许多在线资源)暗示,在需要时,程序可以(从缓存中)拉回大约 31GB 的“缓存”。 (
free -m
的输出在 buffers/cache
中也显示 30+GB。)然而,Python 未能分配仅几 GB 的新结构。
Python 'resource' 模块报告的所有限制似乎都未设置。
为什么 Python 进程不再占用(或被给予)更多的空闲地址空间和物理内存?
最佳答案
也许不是答案,我们需要更多调查和信息,了解您的具体操作以及您的配置,但是:
您的可用空间少于 1 GB (760Mo),但缓存了 31Giga。因此,由于内存碎片,可能没有更多的内存可供分配。我想所有缓存的内存都是一些先前加载/释放数据留下/释放的内存。也许经过一些工作,碎片会禁止分配这么大的内存。如果没有交换,这是一个真正的问题。
关于具有大量 RAM 的 Python 2.7 MemoryError(64 位,Ubuntu),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33385039/