python - 计算时间序列数据在某种状态下的时间

Question

我有一个不规则索引的时间序列数据，分辨率为秒，例如:

import pandas as pd
idx = ['2012-01-01 12:43:35', '2012-03-12 15:46:43', 
       '2012-09-26 18:35:11', '2012-11-11 2:34:59']
status = [1, 0, 1, 0]
df = pd.DataFrame(status, index=idx, columns = ['status'])
df = df.reindex(pd.to_datetime(df.index))

In [62]: df
Out[62]: 
                     status
2012-01-01 12:43:35       1
2012-03-12 15:46:43       0
2012-09-26 18:35:11       1
2012-11-11 02:34:59       0

我对状态为 1 的一年中的一小部分感兴趣。我目前的做法是在一年中的每一秒重新索引 df 并使用前向填充，如:

full_idx = pd.date_range(start = '1/1/2012', end = '12/31/2012', freq='s')
df1 = df.reindex(full_idx, method='ffill')

它返回一个 DataFrame，其中包含一年中的每一秒，然后我可以计算它的平均值，以查看处于 1 状态的时间百分比，例如:

In [66]: df1
Out[66]: 
<class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 31536001 entries, 2012-01-01 00:00:00 to 2012-12-31 00:00:00
Freq: S
Data columns:
status    31490186  non-null values
dtypes: float64(1)


In [67]: df1.status.mean()
Out[67]: 0.31953371123308066

问题是我必须对大量数据执行此操作，并且在一年中的每一秒重新索引它是迄今为止最昂贵的操作。

有什么更好的方法可以做到这一点？

Answer 1

似乎没有 pandas 方法来计算不规则时间序列条目之间的时间差，尽管有一种方便的方法可以将时间序列索引转换为 datetime.datetime 数组> 对象，可以通过减法转换为datetime.timedelta对象。

In [6]: start_end = pd.DataFrame({'status': [0, 0]},
                                 index=[pd.datetools.parse('1/1/2012'),
                                        pd.datetools.parse('12/31/2012')])

In [7]: df = df.append(start_end).sort()

In [8]: df
Out[8]: 
                     status
2012-01-01 00:00:00       0
2012-01-01 12:43:35       1
2012-03-12 15:46:43       0
2012-09-26 18:35:11       1
2012-11-11 02:34:59       0
2012-12-31 00:00:00       0

In [9]: pydatetime = pd.Series(df.index.to_pydatetime(), index=df.index)

In [11]: df['duration'] = pydatetime.diff().shift(-1).\
              map(datetime.timedelta.total_seconds, na_action='ignore')

In [16]: df
Out[16]: 
                     status  duration
2012-01-01 00:00:00       0     45815
2012-01-01 12:43:35       1   6145388
2012-03-12 15:46:43       0  17117308
2012-09-26 18:35:11       1   3916788
2012-11-11 02:34:59       0   4310701
2012-12-31 00:00:00       0       NaN

In [17]: (df.status * df.duration).sum() / df.duration.sum()
Out[17]: 0.31906950786402843

注意:

• 我们的答案似乎有所不同，因为我将第一个时间戳之前的 status 设置为零，而这些条目在您的 df1 中为 NA，因为没有起始值可以向前填充并且NA 值被 pandas mean() 排除。
• timedelta.total_seconds()是 Python 2.7 中的新内容。

• 此方法与重建索引的时间比较:

  In [8]: timeit delta_method(df)
  1000 loops, best of 3: 1.3 ms per loop
  
  In [9]: timeit redindexing(df)
  1 loops, best of 3: 2.78 s per loop