我在 Ubuntu 16.10 上使用 numpy (1.13.1) 和 pandas (0.20.3) 以及 python 2.7 或 3.5(两者都有相同的问题)。
我正在研究 pandas 内存处理(特别是当它复制或不复制数据时)并遇到了一个我不明白的重大内存问题。虽然我看到了(许多)其他关于内存性能的问题,但我还没有发现任何直接解决这个问题的问题。
具体来说,pandas 分配的内存比我要求的多很多。在尝试分配具有特定大小的列的 DataFrame 时,我注意到一些非常奇怪的行为:
import pandas as pd, numpy as np
GB = 1024**3
df = pd.DataFrame()
df['MyCol'] = np.ones(int(1*GB/8), dtype='float64')
当我执行此命令时,我看到我的 python 进程实际上分配了 6GB 的内存(如果我要求 2GB,则为 12G,如果我要求 3GB,则为 21GB,如果我要求 4GB,我的计算机会崩溃 :-/)预期的 1GB。一开始我想可能 Python 正在做一些积极的预分配,但是如果我只是构建 numpy 数组本身,我每次都会得到我要求的确切内存量,无论是 1GB、10GB、25GB 还是其他。
此外,更有趣的是,如果我将代码稍微更改为:
df['MyCol'] = np.ones(int(1*GB), dtype='uint8')
它分配的内存太多以至于我的系统崩溃(单独运行 numpy 调用正确分配了 1GB 的内存)。 (编辑 2017/8/17:出于好奇,我今天尝试使用更新版本的 pandas (0.20.3) 和 numpy (1.13.1),以及升级到 64GB 的 RAM。运行这个命令仍然损坏,分配所有 64(ish)GB 可用 RAM。)
如果 pandas 进行复制并可能分配另一列来存储索引,我可以理解所要求的内存加倍甚至三倍,但我无法解释它实际在做什么。粗略地看一下代码也不是很清楚。
我试过用几种不同的方式构建数据框,结果都一样。鉴于其他人成功地使用这个包进行大数据分析,我不得不假设我做错了一些可怕的事情,尽管根据我可以告诉的文档,这应该是正确的。
想法?
一些补充说明:
- 即使内存使用量很大,当调用 memory_usage() 时,pandas 仍然(错误地)报告预期的数据大小(即,如果我分配一个 1GB 的数组,它报告 1GB,即使实际上已经分配了 6-10GB)。
- 在所有情况下,索引都很小(由 memory_usage() 报告,这可能不准确)。
- 取消分配 pandas DataFrame (df = None, gc.collect()) 实际上并没有释放所有内存。用这个方法肯定有漏水的地方。
最佳答案
所以我制作了一个 8000 字节的数组:
In [248]: x=np.ones(1000)
In [249]: df=pd.DataFrame({'MyCol': x}, dtype=float)
In [250]: df.info()
<class 'pandas.core.frame.DataFrame'>
Int64Index: 1000 entries, 0 to 999
Data columns (total 1 columns):
MyCol 1000 non-null float64
dtypes: float64(1)
memory usage: 15.6 KB
所以 8k 用于数据,8k 用于索引。
我添加了一列 - 使用量增加了 x
的大小:
In [251]: df['col2']=x
In [252]: df.info()
<class 'pandas.core.frame.DataFrame'>
Int64Index: 1000 entries, 0 to 999
Data columns (total 2 columns):
MyCol 1000 non-null float64
col2 1000 non-null float64
dtypes: float64(2)
memory usage: 23.4 KB
In [253]: x.nbytes
Out[253]: 8000
关于python - Pandas 使用的存储内存比要求的要多得多,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41552903/