我们有一个 Python 命令行实用程序,可以调用 API 来下载大文件,我们希望了解该程序在内存有限(~1 GB 或更少)的计算机上运行时的行为。
实现此目的的一个选择是使用虚拟化层(Docker 容器或 Vagrant 虚拟盒)来创建具有指定内存量的操作系统。但我对不同的方法感兴趣。
我想知道是否有一种方法可以限制 Python 进程可用的内存量,以便我可以运行命令行界面来进行 API 调用,但将其限制为最大(例如)512 MB内存来测试内存不足问题。
寻找适用于 Mac OS X(运行 10.14+)或 Linux 的解决方案。
最佳答案
使用 setrlimit 设置最大内存大小
根据 @Alexis Drakopoulos's answer ,resource
模块可用于设置 Python 脚本使用的最大虚拟内存量,但需要注意的是,此方法仅适用于基于 Linux 的系统,不适用于基于 Linux 的系统。基于 BSD 的系统,例如 Mac OS X。
要修改限制,请在 Python 脚本中添加对 setrlimit
的以下调用:
resource.setrlimit(resource.RLIMIT_AS, (soft_lim, hard_lim))
(其中软/硬限制以字节为单位 - 并且它们的值通常相等)。
简单示例
下面是一个简单示例,它将内存限制为大约 1 KB(1000 字节),然后由于内存错误而无法导入 pandas
:
$ python
Python 3.6.9 (default, Nov 7 2019, 10:44:02)
[GCC 8.3.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import resource
>>> print(resource.getrlimit(resource.RLIMIT_AS))
(-1, -1)
>>> resource.setrlimit(resource.RLIMIT_AS, (1000,1000))
>>> import pandas as pd
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/home/vagrant/.local/lib/python3.6/site-packages/pandas/__init__.py", line 11, in <module>
File "/home/vagrant/.local/lib/python3.6/site-packages/numpy/__init__.py", line 142, in <module>
File "/home/vagrant/.local/lib/python3.6/site-packages/numpy/core/__init__.py", line 24, in <module>
File "<frozen importlib._bootstrap>", line 971, in _find_and_load
File "<frozen importlib._bootstrap>", line 955, in _find_and_load_unlocked
File "<frozen importlib._bootstrap>", line 665, in _load_unlocked
File "<frozen importlib._bootstrap_external>", line 674, in exec_module
File "<frozen importlib._bootstrap_external>", line 779, in get_code
File "<frozen importlib._bootstrap_external>", line 487, in _compile_bytecode
MemoryError
MemoryError
为什么这在 BSD 系统上不起作用?
如果您检查 getrlimit
或 setrlimit
的手册页,您将看到一个 RLIMIT_*
变量列表 - 但该列表是BSD 和 Linux 之间的不同。 Linux getrlimit/setrlimit man page列出了 RLIMIT_AS
,但是 BSD getrlimit/setrlimit man page没有列出任何用于控制内存量的RLIMIT
变量。因此,即使在 Mac OS X 上的 resource
模块中定义了 resource.RLIMIT_AS
,设置它对内核或进程可用的内存量没有影响.
另请参阅What do the two numbers returned by Python's resource.RLIMIT_VMEM (or resource.RLIMIT_AS) mean?
关于python - 运行内存有限的Python进程,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59460984/