python - groupby后聚合的列组合

Question

问题

寻找类似的东西

df.groubpy('key').aggregate(combination(columnA, columnB))

而不是

df['combination'] = combination(columnA, columnB)
df.groupby('key')['combination'].aggregate()

唯一的要求是列的组合是在groupby之后计算的。

---

描述

对于某些情况，我似乎很自然，逻辑上明智，首先进行分组，然后聚合。

一个示例是使用相同组的不同列组合的不同聚合函数。

寻找

1. 分组依据
2. 选择列组合
3. 使用相应的聚合函数

而不是

1. 创建所有必要的列(为每个聚合函数)
2. groupby(针对每个聚合函数)
3. 应用特定的聚合函数

---

示例

key     ColumnA  ColumnB
key1       1        1
key2       2        2
key1       3        3
key3       4        4
key2       5        5

#can do
df['combination'] = df.columnA * df.columnB
df.groupby('key').mean()

#looking for
grouped = df.groupby('key')
grouped.mean(columnA * columnB)

Answer 1

好吧，所以我认为你正在寻找的答案是 - 我们不这样做，因为 python 中的矢量化

考虑下面的代码。

现在本质上 - python 通常被优化为以矢量化方式执行某些数学运算(例如 numpy 或 pandas) - 这意味着 - 将其应用到整个向量比将其分解成 block 然后执行它要快。

所以例如df["A"].mul(df["B"]) 会比: df.apply(lambda X: X["A"]*X["B"]，轴=0)。分组也是如此 - 只是这样更具可扩展性。

尝试下面的代码 - 它本质上就是您所指的 - 因此在 groupby(...) 之后的 Vs 之前进行操作。即使您具体化了额外的列，矢量化解决方案的扩展速度也非常快 - 处理的行越多，您将看到的差异就越大。

编辑

我在分组数据上添加了矢量化解决方案，因此我们有:

(1) 我们分组，我们逐行懒惰地评估

(2)我们以向量化的方式处理完整的df，我们应用内置聚合函数进行分组

(3)我们分组，我们以向量化的方式处理组，按组，我们做聚合函数

本质上 - 从结果中我们看到分解成 block 会减慢处理速度，无论是按组还是按记录 - 因此矢量化解决方案比我们可以在其上应用的任何类型的自定义解决方案都具有更好的扩展性。

import pandas as pd
import numpy as np
import time

x=np.random.randint(1,9,(3000,5))
df=pd.DataFrame(x, columns=[f"column{l}" for l in list("ABCDE")])
df["cat"]=np.random.choice([f"key{l}" for l in list("ABCDEFG")], size=3000)
df2=df3=df
#print(df)
s=time.time()
df.groupby("cat").apply(lambda z: np.prod(z.values, axis=1).mean()).pipe(print)
e=time.time()-s
print(f"method 1: {e} s")

s=time.time()
df2["prod"]=np.prod(df[[f"column{l}" for l in list("ABCDE")]], axis=1)
df2.groupby("cat")["prod"].mean().pipe(print)
e=time.time()-s
print(f"method 2: {e} s")

s=time.time()
df3=list(map(lambda x: (x[0], np.prod(x[1][[f"column{l}" for l in list("ABCDE")]], axis=1).mean()), df3.groupby("cat")))
print(df3)
e=time.time()-s
print(f"method 3: {e} s")