python - 有效地获取数据帧中可变长度的时间片

Question

我想使用 DatetimeIndex 有效地对 DataFrame 进行切片(类似于重新采样或 groupby 操作)，但所需的时间切片长度不同。

这通过循环相对容易实现(参见下面的代码)，但是对于大时间序列，多个切片很快就会变慢。关于矢量化/提高速度有什么建议吗？

import pandas as pd, datetime as dt, numpy as np

#Example DataFrame with a DatetimeIndex
idx = pd.DatetimeIndex(start=dt.datetime(2017,1,1), end=dt.datetime(2017,1,31), freq='h')
df = pd.Series(index = idx, data = np.random.rand(len(idx)))

#The slicer dataframe contains a series of start and end windows
slicer_df = pd.DataFrame(index = [1,2])
slicer_df['start_window'] = [dt.datetime(2017,1,2,2), dt.datetime(2017,1,6,12)]
slicer_df['end_window'] = [dt.datetime(2017,1,6,12), dt.datetime(2017,1,15,2)]

#The results should be stored to a dataframe, indexed by the index of the slicer dataframe
#This is the loop that I would like to vectorise
slice_results = pd.DataFrame()
slice_results['total'] = None
for index, row in slicer_df.iterrows():
    slice_results.loc[index,'total'] = df[(df.index >= row.start_window) &
                                          (df.index <= row.end_window)].sum()

注意。我刚刚意识到我的特定数据集具有相邻的窗口(即一个窗口的开头对应于它之前的窗口的结尾)，但窗口的长度不同。感觉应该有一种方法来执行 groupby 或类似的操作，只需一次传递 df...

Answer 1

您可以将其作为应用来执行，这将连接结果而不是迭代更新 DataFrame:

In [11]: slicer_df.apply((lambda row: \
              df[(df.index >= row.start_window) 
               & (df.index <= row.end_window)].sum()), axis=1)
Out[11]:
1     36.381155
2    111.521803
dtype: float64