python - 计算 pandas 数据框中的日期时间间隔之间有多少个实例

Question

我有一个以下形式的 pandas 数据框

print(ts.head())

id    start_datetime            end_datetime
0   2018-09-19 00:00:00   2018-09-19 03:00:00
1   2018-09-19 01:00:00   2018-09-19 03:00:00
2   2018-09-19 01:30:00   2018-09-19 03:00:00
3   2018-09-19 02:14:00   2018-09-19 03:00:00
4   2018-09-19 02:23:00   2018-09-19 03:00:00

我想制作一个带有单列日期时间索引(每小时频率)的数据框。该列针对每个索引计算原始数据帧的行数在其 start_datetime 和 end_datetime 值之间包含该索引。

我首先以每小时的频率制作 df，在适当的时间开始和结束:

ts = df.select('start_datetime','end_datetime').toPandas()
idx = pd.DatetimeIndex(freq="h", start="2018-09-19", end = '2018-11-18 
18:00:00')
df_hourly = pd.DataFrame(index=idx)
df_hourly.head()

        id
2018-09-19 00:00:00
2018-09-19 01:00:00
2018-09-19 02:00:00
2018-09-19 03:00:00
2018-09-19 04:00:00

现在我需要为每一行计算它位于原始数据帧之间的行数。我正在尝试使用 numpy 来处理列的值，但我很确定有一种漂亮的 pandas 方法可以做到这一点。

Answer 1

我正在使用numpy广播

s1 = df.start_datetime.values
s2 = df.end_datetime.values
s = df_hourly.index.values[:, None]
df_hourly['Value'] = np.sum((s1 <= s) & (s2 >= s), 1)
df['Value'] = np.sum((s1 <= s) & (s2 >= s), 0)