这段代码有效——它将每一列设置为其平均值:
def setSerNanToMean(serAll):
return serAll.replace(np.NaN, serAll.mean())
def setPdfNanToMean(pdfAll, listCols):
pdfAll.ix[:,listCols] = pdfAll.ix[:,listCols].apply(setSerNanToMean)
setPdfNanToMean(pdfAll, [1,2,3,4])
此代码不起作用:
def setSerNanToMean(serAll):
return serAll.replace(np.NaN, serAll.mean())
def setPdfNanToMean(pdfAll, listCols):
pdfAll.ix[:,listCols].apply(setSerNanToMean) # This line has changed!
setPdfNanToMean(pdfAll, [1,2,3,4])
为什么第二段代码不起作用? DataFrame.apply() 不是默认就地吗? apply 函数没有就地参数。如果它不能正常工作,这是否会让 pandas 成为一个糟糕的内存处理程序?在这种情况下,所有 pandas 数据框操作都会复制所有内容吗?就地做不是更好吗?即使它不默认为就地,它不应该像replace()那样提供就地参数吗?
我并不是在寻找具体的答案,而是在寻找一般的理解。同样,这些代码块之一可以工作,因此我可以继续前进,但我真正想做的是了解 pandas 如何处理内存对象的操作。我有 McKinney 的书,因此非常欢迎页面引用,这样您就不必输入太多内容。
最佳答案
不,应用不能就地工作*。
这是另一个给你的:inplace 标志实际上并不意味着任何函数实际上就地发生(!)。举个例子:
In [11]: s = pd.Series([1, 2, np.nan, 4])
In [12]: s._data._values
Out[12]: array([ 1., 2., nan, 4.])
In [13]: vals = s._data._values
In [14]: s.fillna(s.mean(), inplace=True)
In [15]: vals is s._data._values # values are the same
Out[15]: True
In [16]: vals
Out[16]: array([ 1. , 2. , 2.33333333, 4. ])
In [21]: s = pd.Series([1, 2, np.nan, 4]) # start again
In [22]: vals = s._data._values
In [23]: s.fillna('mean', inplace=True)
In [24]: vals is s._data._values # values are *not* the same
Out[24]: False
In [25]: s._data._values
Out[25]: array([1.0, 2.0, 'mean', 4.0], dtype=object)
注意:通常如果类型相同,则值数组也相同,但 pandas 不保证这一点。
一般来说 apply 很慢(因为你基本上是在 python 中迭代每一行),并且“游戏”是根据 pandas/numpy native 函数和索引重写该函数。如果你想深入了解内部的更多细节,请查看 core/internals.py 中的 BlockManager,这是保存底层 numpy 数组的对象。但说实话,我认为你最有用的工具是%timeit
并查看特定函数的源代码(ipython 中的 ??
)。
在这个具体示例中,我会考虑在所需列的显式 for 循环中使用 fillna:
In [31]: df = pd.DataFrame([[1, 2, np.nan], [4, np.nan, 6]], columns=['A', 'B', 'C'])
In [32]: for col in ["A", "B"]:
....: df[col].fillna(df[col].mean(), inplace=True)
....:
In [33]: df
Out[33]:
A B C
0 1 2 NaN
1 4 2 6
(也许 fillna 对于这个用例有 columns 参数是有意义的?)
所有这些并不是说 pandas 的内存效率低下......但有时必须考虑高效(和内存高效)的代码。
*apply 通常不会在适当的地方有意义(并且 IMO 很少需要这种行为)。
关于python - Pandas 数据框行为,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25234769/