如果我有一个像这样的数据框(df_data):
ID Time X Y Z H
05 2020-06-26 14:13:16 0.055 0.047 0.039 0.062
05 2020-06-26 14:13:21 0.063 0.063 0.055 0.079
05 2020-06-26 14:13:26 0.063 0.063 0.063 0.079
05 2020-06-26 14:13:31 0.095 0.102 0.079 0.127
... .. ... ... ... ... ... ...
01 2020-07-01 08:59:43 0.063 0.063 0.047 0.079
01 2020-07-01 08:59:48 0.055 0.055 0.055 0.079
01 2020-07-01 08:59:53 0.071 0.063 0.055 0.082
01 2020-07-01 08:59:58 0.063 0.063 0.047 0.082
01 2020-07-01 08:59:59 0.047 0.047 0.047 0.071
[17308709 rows x 8 columns]
我想通过另一个间隔数据帧 (df_intervals) 进行过滤，例如:
int_id start end
1 2020-02-03 18:11:59 2020-02-03 18:42:00
2 2020-02-03 19:36:59 2020-02-03 20:06:59
3 2020-02-03 21:00:59 2020-02-03 21:31:00
4 2020-02-03 22:38:00 2020-02-03 23:08:00
5 2020-02-04 05:55:00 2020-02-04 06:24:59
... ... ...
1804 2021-01-10 13:50:00 2021-01-10 14:20:00
1805 2021-01-10 18:10:00 2021-01-10 18:40:00
1806 2021-01-10 19:40:00 2021-01-10 20:10:00
1807 2021-01-10 21:25:00 2021-01-10 21:55:00
1808 2021-01-10 22:53:00 2021-01-10 23:23:00
[1808 rows x 2 columns]
这样做最有效的方法是什么？我有一个很大的数据集，如果我尝试像这样迭代它:
for i in range(len(intervals)):
df_filtered = df[df['Time'].between(intervals['start'][i], intervals['end'][i])
...
...
...
它需要永远!我知道我不应该遍历大型数据帧，但我不知道如何在第二个数据帧上按每个间隔过滤它。
我尝试做的步骤是:
1- 从 df_intervals 获取所有间隔(开始/结束列)；
2- 使用这些时间间隔创建一个新数据框 (df_stats)，其中包含这些时间范围内列的统计信息。示例:
start end ID X_max X_min X_mean Y_max Y_min Y_mean ....
2020-02-03 18:11:59 2020-02-03 18:42:00 01 ... ... ... ... ... ... ... ...
2020-02-03 18:11:59 2020-02-03 18:42:00 02 ... ... ... ... ... ... ... ...
2020-02-03 18:11:59 2020-02-03 18:42:00 03 ... ... ... ... ... ... ... ...
2020-02-03 18:11:59 2020-02-03 18:42:00 04 ... ... ... ... ... ... ... ...
2020-02-03 18:11:59 2020-02-03 18:42:00 05 ... ... ... ... ... ... ... ...
2020-02-03 19:36:59 2020-02-03 20:06:59 01 ... ... ... ... ... ... ... ...
2020-02-03 19:36:59 2020-02-03 20:06:59 02 ... ... ... ... ... ... ... ...
2020-02-03 19:36:59 2020-02-03 20:06:59 03 ... ... ... ... ... ... ... ...
最佳答案
如果 Joe 的回答没有给你你想要的速度，我认为可以通过消除 for 循环中的统计计算来改进它。 (我正在窃取他的 df 创作，因为他是将其放入他的答案中的英雄。)理想情况下，您也可以摆脱 for 循环，但我认为时间戳索引被复制(跨 ID 号)它可以合并这两个数据框很棘手。
这是我仍然使用迭代来处理开始/结束时间的尝试。首先，我将 int_id 应用于父 df。我想将它添加到父数据框，这样我就可以“groupby”而无需制作“临时”数据框并对其进行统计。
for index, row in df2.iterrows():
df1.loc[df1.Time.between(row.start,row.end), 'int_id'] = row.int_id
ID Time X Y Z H int_id
0 01 2020-02-03 18:13:16 0.011 0.012 0.013 0.014 1.0
1 01 2020-02-03 18:13:21 0.015 0.016 0.017 0.018 1.0
2 01 2020-02-03 18:13:26 0.013 0.013 0.013 0.013 1.0
3 01 2020-02-03 18:13:31 0.015 0.015 0.015 0.015 1.0
4 02 2020-02-03 18:13:16 0.021 0.022 0.023 0.024 1.0
5 02 2020-02-03 18:13:21 0.025 0.026 0.027 0.028 1.0
6 02 2020-02-03 18:13:26 0.023 0.023 0.023 0.023 1.0
然后我定义聚合以在循环完成后一次性获得所有数据。
aggs = {'X':['sum', 'max', 'mean', 'median'],
'Y':['sum', 'max', 'mean', 'median'],
'Z':['sum', 'max', 'mean', 'median'],
'H':['sum', 'max', 'mean', 'median']}
df2 = df1.groupby(by=('int_id')).agg(aggs)
X Y Z H
sum max mean median sum max mean median sum max mean median sum max mean median
int_id
1.0 0.732 0.095 0.0366 0.034 0.739 0.102 0.03695 0.034 0.708 0.079 0.0354 0.034 0.827 0.127 0.04135 0.0345
2.0 0.732 0.095 0.0366 0.034 0.739 0.102 0.03695 0.034 0.708 0.079 0.0354 0.034 0.827 0.127 0.04135 0.0345
注意:此处您在列上有一个多索引。您可以通过以下方式加入他们。
df_final.columns = ['_'.join(col).strip() for col in df_final.columns.values]
X_sum X_max X_mean X_median Y_sum Y_max Y_mean Y_median Z_sum Z_max Z_mean Z_median H_sum H_max H_mean H_median
int_id
1.0 0.732 0.095 0.0366 0.034 0.739 0.102 0.03695 0.034 0.708 0.079 0.0354 0.034 0.827 0.127 0.04135 0.0345
2.0 0.732 0.095 0.0366 0.034 0.739 0.102 0.03695 0.034 0.708 0.079 0.0354 0.034 0.827 0.127 0.04135 0.0345
关于python - Pandas :按时间间隔的另一个数据帧过滤数据帧，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/66019099/