python - Pandas - 合并具有连续间隔的行

Question

我最近开始使用 Pandas，几天来一直在解决这个问题。我有一个包含间隔信息的数据框，看起来有点像这样:

    df = pd.DataFrame({'RangeBegin' : [1,3,5,10,12,42,65],
               'RangeEnd' : [2,4,7,11,41,54,100],
               'Var1' : ['A','A','A','B','B','B','A'],
               'Var2' : ['A','A','B','B','B','B','A']})

     RangeBegin  RangeEnd Var1 Var2
0           1         2    A    A
1           3         4    A    A
2           5         7    A    B
3          10        11    B    B
4          12        41    B    B
5          42        54    B    B
6          65       100    A    A

按RangeBegin排序。我们的想法是最终得到这样的结果:

       RangeBegin  RangeEnd Var1 Var2
0         1.0       4.0    A    A
2         5.0       7.0    A    B
3        10.0      54.0    B    B
6        65.0     100.0    A    A

其中具有连续范围的每个“重复”(匹配 Var1 和 Var2)行都聚合为一行。我正在考虑扩展这个算法来检测和处理重叠，但我想首先让它正常工作。

你看，我有一个解决方案，通过使用 iterrows 逐行构建一个新的数据帧，但在我的真实数据集上花费的时间太长，我想使用更矢量化的实现。 我已经研究过 groupby 但找不到一组键(或应用于所述组的函数)来完成这项工作。

这是我当前的实现:

def test():
    df = pd.DataFrame({'RangeBegin' : [1,3,5,10,12,42,65],
                   'RangeEnd' : [2,4,7,11,41,54,100],
                   'Var1' : ['A','A','A','B','B','B','A'],
                   'Var2' : ['A','A','B','B','B','B','A']})
    print(df)

    i = 0
    cols = df.columns
    aggData = pd.DataFrame(columns = cols)
    for row in df.iterrows():
        rowIndex, rowData = row
        #if our new dataframe is empty or its last row is not contiguous, append it
        if(aggData.empty or not duplicateContiguousRow(cols,rowData,aggData.loc[i])):
            aggData = aggData.append(rowData)
            i=rowIndex
        #otherwise, modify the last row
        else:
            aggData.loc[i,'RangeEnd'] = rowData['RangeEnd']
    print(aggData)

def duplicateContiguousRow(cols, row, aggDataRow):
    #first bool: are the ranges contiguous?
    contiguousBool = aggDataRow['RangeEnd']+1 == row['RangeBegin']
    if(not contiguousBool):
        return False

    #second bool: is this row a duplicate (minus range columns)?
    duplicateBool = True
    for col in cols:
        if(not duplicateBool):
            break
        elif col not in ['RangeBegin','RangeEnd']:
            #Nan != Nan
            duplicateBool = duplicateBool and (row[col] == aggDataRow[col] or (row[col]!=row[col] and aggDataRow[col]!=aggDataRow[col]))
    return duplicateBool

<小时/>

编辑: This question我在写这篇文章时刚刚被问到。答案看起来很有希望

Answer 1

首次检测 consecutive segments 时，您可以使用 groupby 来实现此目的。 :

df['block'] = ((df['Var1'].shift(1) != df['Var1']) | (df['Var2'].shift(1) != df['Var2'])).astype(int).cumsum()
df.groupby(['Var1', 'Var2', 'block']).agg({'RangeBegin': np.min, 'RangeEnd': np.max}).reset_index()

将导致:

  Var1 Var2  block  RangeBegin  RangeEnd
0    A    A      1           1         4
1    A    A      4          65       100
2    A    B      2           5         7
3    B    B      3          10        54

然后您可以按 block 排序以恢复原始顺序。