我有几个关于在dask数据帧上使用groupby的问题。
据我所知,在一个groupby结果上迭代,就像在Pandas中那样,在dask中是行不通的。
for name, group in sorted(grouped.groups):
logger.info((name, group))
是不允许的。我们应该改用
apply
。但是,如果我想知道熊猫的数量,我可以做以下工作:
len(grouped.groups)
通过使用
apply
,我希望能够对dask数据帧上的groupby执行此操作: d_grouped.apply(len)
但那不管用。如何找出由dask数据帧上的groupby生成的组数?
最佳答案
几乎可以肯定的是,要确定组的数量,就需要查看所有的数据。因此,我认为这是一个昂贵的计算。如果必须计算该数字,可以尝试以下操作:
使用重复放置
您可以返回原始数据帧(此处:ddf
),选择用于groupby
的列(在我的示例中是[A, B]
或只是A
),并计算结果的长度:
pdf = pd.DataFrame(dict(A=[0,0,0,1,1,1,2], B=[0,0,0,1,1,2,2]))
ddf = dd.from_pandas(pdf, npartitions = 2)
len(ddf[['A', 'B']].drop_duplicates()) ## 4 groups
len(ddf['A'].drop_duplicates()) ## 3 groups
虽然这需要加载所有数据,但不需要洗牌。
对每组应用
lambda x: 1
并计算结果的长度您还可以对groupby对象应用一个简单的函数并计算结果的长度:
len(ddf.groupby('A').apply(lambda x: 1).compute())
因为这可能会触发一次完全的洗牌,这可能会导致非常低的性能,所以我建议使用第一种方法。
关于python - 在dask数据帧上使用groupby,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40857100/