python - 在Python中使用后释放缓冲区空间？

Question

因此，我使用 Google Cloud 数据实验室，并使用 %%storage read 命令将大文件(2,000,000 行)读入 text 变量，然后我必须将其处理为使用 BytesIO 的 pandas 数据帧，例如 df_new=pd.read_csv(BytesIO(text))

所以现在我不需要 text 变量或其内容，(所有进一步的处理都是在 df_new 上完成的，我如何删除它( text)并释放内存(我确实不需要 200 万条记录数据集的两个副本......)

Answer 1

使用del，然后强制垃圾回收。

import gc

# Remove text variable
del text
# Force gc collection - this not actually necessary, but may be useful.
gc.collect()

请注意，您可能不会看到进程大小减少以及内存返回操作系统，具体取决于使用的内存分配器(取决于操作系统、使用的核心库和 python 编译选项)。