如何获取 pandas 数据框中所有值(NaN 除外)的平均值?
pd.DataFrame.mean()
仅给出每列(或行,当设置 axis=1
时)的平均值,但我想要整个事物的平均值。 df.mean().mean()
并不是最明智的选择(见下文)。
请注意,在我的具体真实案例中,数据框有一个很大的多索引,这使事情变得更加复杂。对于这无关紧要的情况,可以认为@EdChum 的回答更直接,在某些情况下这可能比更快的解决方案更可取。
示例代码
data1 = np.arange(16).reshape(4, 4)
df = pd.DataFrame(data=data1)
df.mean()
0 9.0
1 7.0
2 8.0
3 9.0
dtype: float64
df.mean().mean()
7.5
np.arange(16).mean()
7.5
有效,但如果我屏蔽部分 df(实际上,它是数百行/列的相关矩阵,其本身有一半填充了冗余数据),它会变得有趣:
triang = np.triu_indices(4)
data2 = np.arange(4.,20.).reshape(4, 4)
data2[triang]=np.nan
df2 = pd.DataFrame(data=data2)
df2.mean().mean()
15.0
但是 (8. + 12. + 13. + 16. + 17. + 18.)/6
是 14.
除了手动编写某种循环来执行上述操作外,我怎样才能最好地获得“真实”的意思?
最佳答案
您可以使用 numpy.nanmean
:
triang = np.triu_indices(4)
data2 = np.arange(4.,20.).reshape(4, 4)
data2[triang]=np.nan
df2 = pd.DataFrame(data=data2)
res = np.nanmean(df2) # 14.0
也可以通过 stack
,如@EdChum 所述,但速度较慢:
df2 = pd.concat([df2]*100000)
%timeit np.nanmean(df2) # 14.0ms
%timeit df2.stack().dropna().mean() # 55.7ms
如果您的数据仅为数字,您还可以完全移除 Pandas 开销。
关于python - 如何获得整个数据框而不是列的平均值?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50985906/