python - Pandas DataFrame groupby 可变长度的重叠间隔

Question

我正在尝试按 2 列对 DataFrame 进行分组(请参见下面的示例)。 对于第一列，我希望每个值都属于一个组。对于第二列，我想按大小不等的重叠间隔进行分组。

我的理解是 pd.cut() 只允许我按不重叠的间隔进行分组。

这是一个例子:

    0   1   2
0   0   4   1721
1   0   5   2353
2   0   6   58
3   0   7   524
4   1   1   1934
5   1   2   1318
6   1   2   1307
7   1   2   301
8   1   2   502
9   1   3   996
10  1   3   32

通过按第 0 列和第 1 列分组，我想要:

0  1    2
0 [4,5] [1721,2353]
  [5,6] [2353,58]
  [6,7] [58,524]
1 [1,2] [1934,1318,1307,301,502]
  [2,3] [1318,1307,301,502,996,32]

然后我会取第 2 列的平均值或标准差。有什么建议吗？谢谢 !

Answer 1

开头为:

    gr1  gr2   val
0     0    4  1721
1     0    5  2353
2     0    6    58
3     0    7   524
4     1    1  1934
5     1    2  1318
6     1    2  1307
7     1    2   301
8     1    2   502
9     1    3   996
10    1    3    32

首先，根据 gr2 中的值创建 bin:

bounds = df.gr2.sort_values().unique()
bins = list(zip(bounds[:-1], bounds[1:]))

def overlapping_bins(x):
    return pd.Series([l for l in bins if l[0] <= x <= l[1]])

然后将val值分配给bins:

df = pd.concat([df, df.gr2.apply(overlapping_bins).stack().reset_index(1, drop=True)], axis=1).rename(columns={0: 'bins'}).drop('gr2', axis=1)

然后.groupby()生成bins:

df.groupby(['gr1', 'bins']).val.apply(lambda x: x.tolist())

gr1  bins  
0    (3, 4)                             [1721]
     (4, 5)                       [1721, 2353]
     (5, 6)                         [2353, 58]
     (6, 7)                          [58, 524]
1    (1, 2)       [1934, 1318, 1307, 301, 502]
     (2, 3)    [1318, 1307, 301, 502, 996, 32]
     (3, 4)                          [996, 32]