python - 以间隔对包含 np.nan 的值进行分组

Question

我有一个包含零、一和 np.nan 的 pandas 系列:

import pandas as pd
import numpy as np
df1 = pd.Series([ 0, 0, 0, 0, 0, 1, 1, 1, 0, 0, 0, np.nan, np.nan, 1])
df1
Out[6]: 
0     0.0
1     0.0
2     0.0
3     0.0
4     0.0
5     1.0
6     1.0
7     1.0
8     0.0
9     0.0
10    0.0
11    NaN
12    NaN
13    1.0
dtype: float64

我想创建一个数据帧 df2，其中包含具有相同值的间隔的开始和结束，以及关联的值...在这种情况下 df2 应该是...

df2
Out[5]: 
   Start     End  Value
0      0  4         0
1      5  7         1
2      8  10        0
3      11 12        NaN
4      13 13        1

遵循解决方案here :

s = df1.ne(df1.shift()).cumsum()
df2 = df1.groupby(s).apply(lambda x: pd.Series([x.index[0], x.index[-1], x.iat[0]], 
                                                index=['Start','End','Value']))
                   .unstack().reset_index(drop=True)

但它不适用于这种情况

df2
Out[11]: 
   Start   End  Value
0    0.0   4.0    0.0
1    5.0   7.0    1.0
2    8.0  10.0    0.0
3   11.0  11.0    NaN
4   12.0  12.0    NaN
5   13.0  13.0    1.0

Answer 1

NaN 在相等性检查方面存在问题。您可以解决这个问题，暂时用一个不起眼的值填充它。

In [361]: s = df1.fillna('-dummy-').ne(df1.fillna('-dummy-').shift()).cumsum()

In [362]: df1.groupby(s).apply(lambda x: pd.Series([x.index[0], x.index[-1], x.iat[0]],
     ...:                                           index=['Start','End','Value']))
     ...:          .unstack().reset_index(drop=True)
Out[362]:
   Start   End  Value
0    0.0   4.0    0.0
1    5.0   7.0    1.0
2    8.0  10.0    0.0
3   11.0  12.0    NaN
4   13.0  13.0    1.0