python - 天气 "events"根据 Pandas 的时差进行分组

Question

我有一个由站点标识符代码(“usaf”)和日期组织的表面天气观测数据框(fzraHrObs)。 fzraHrObs 有几列天气数据。车站代码和日期(日期时间对象)如下所示:

usaf      dat
716270    2014-11-23 12:00:00
          2015-12-20 08:00:00
          2015-12-20 12:00:00
716280    2015-12-19 08:00:00
          2015-12-19 09:00:00

我想按站点将这些观测结果分组为“事件”，其中在上一次观测之后 6 小时内发生的观测结果计入同一事件。然后，我想将事件开始时间、结束时间和事件中的 obs 数量输出到数据帧。鉴于上面的示例数据，我希望输出看起来像这样:

usaf      eventNum   start                end                     count
716270    1          2014-11-23 12:00:00  2014-11-23 12:00:00     1   
          2          2015-12-20 09:00:00  2015-12-20 12:00:00     2     
716280    1          2015-12-19 08:00:00  2015-12-19 09:00:00     2 

我目前正在使用 for/if 循环和字典来执行此操作，但正在努力将其切换到 pandas，因为它的效率更高。

我最初的想法是对按站分组的每一行数据进行比较，并在几小时内得到结果，所以我确实有一列“diff”来显示这一点。然而，我无法弄清楚如何获取事件开始/结束/持续时间而不恢复到丑陋的 for 和 if 循环。我猜测涉及 fzraHrObs[fzraHrObs['diff']>=6] 的内容也会涉及到？

Answer 1

您评论中的答案意味着很容易避免循环，因为您只需要回顾上一个事件。

df['new_event'] = df.groupby('usaf')['dat'].apply(lambda s: s.diff().dt.seconds > 6*3600)

输出:

     usaf                 dat new_event
0  716270 2014-11-23 12:00:00     False
1  716270 2015-12-20 08:00:00      True
2  716270 2015-12-20 12:00:00     False
3  716280 2015-12-19 08:00:00     False
4  716280 2015-12-19 09:00:00     False

增加 True 值的事件计数:

df['event'] = df.groupby('usaf')['new_event'].cumsum().astype('int')

输出:

     usaf                 dat new_event  event
0  716270 2014-11-23 12:00:00     False      0
1  716270 2015-12-20 08:00:00      True      1
2  716270 2015-12-20 12:00:00     False      1
3  716280 2015-12-19 08:00:00     False      0
4  716280 2015-12-19 09:00:00     False      0

现在按事件分组，并使用 agg 应用多个函数，包括 first 和 last 来获取开始和结束日期:

df.groupby(['usaf', 'event'])['dat'].agg(['first', 'last', 'count'])

输出:

                           first                last  count
usaf   event                                               
716270 0     2014-11-23 12:00:00 2014-11-23 12:00:00      1
       1     2015-12-20 08:00:00 2015-12-20 12:00:00      2
716280 0     2015-12-19 08:00:00 2015-12-19 09:00:00      2

剩下要做的就是清理索引!