经过一番搜索(例如 here 、 here 和 here )，我不知所措。 如何让 Python 3.7 使用超过 2 GB 的内存？
有关我的设置的信息:
我正在运行 64 位 PyCharm (2019.2.6) 和 64 位 Python 3.7.5，并且我设置了 -Xms=8g 和 -Xmx=16g > 在 pycharm.vmoptions 中(如 this 建议将 Xms 设置为 Xms 的一半)。它在 macOS Catalina 10.15.3、具有 40 GB RAM (2*4 + 2*32) 的计算机上运行。
我想要做什么，以及为什么我想增加内存使用:我正在将相对较大的时间序列(200-400 列，大约 70 000 行)读取到 Pandas 中(v.1)。 0.25.3)来自 .txt 文件的数据帧(文件大小范围从 0.5 GB 到 1.5 GB)，并一次处理其中 10-15 个文件。当我在文件中阅读时，我看到 python3.7 进程将内存增加到大约 2 GB(有时 2.05 GB)，然后内存使用量减少到几百 MB，并增加到 2再次 GB(并重复)。
当我处理这些时间序列[切片、绘图等]时，一切都需要相对较长的时间(几分钟)。我希望这可以通过增加内存使用来改善。但是，如果我的假设是错误的，即增加 python 进程中的 RAM 使用会提高性能，那么请告诉我
最佳答案
感谢许多有用的评论(geckos、jammmin0921、Óscar López 和 Heap Overflow)，看起来我所观察到的并不是 Python 的限制，而是明显聪明的数据管理Python/Pandas 意味着一旦将 12 GB 的 .txt 文件读入 DataFrames，通过查看数据帧 (df) 的内存使用情况，它们的总大小实际上低于 2 GB:df.memory_usage(True, True).sum()提供了 1.9 GB
在尝试通过进一步增加读入数据的大小来进一步操纵此问题后，我确实看到 python3.7 进程的 RAM 使用量超过 2 GB。
关于python - 如何让 Python 3.7 使用超过 2 GB 的内存？ (64位设置)，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/60902923/