python - 每个值都取决于另一个 df 查询的 Pandas 列

Question

我面临一个复杂的问题。 我有第一个数据框，其中有客户(请注意，ClientID 不是唯一的，您可以将相同的 ClientID 与不同的 TestDate 相关联):

df1 :

ClientID  TestDate
1A        2019-12-24
1B        2019-08-26
1B        2020-01-12

我有另一个“操作”数据框，指示日期和涉及哪个客户

df2 :

LineNumber  ClientID  Date          Amount
1           1A        2020-01-12    50
2           1A        2019-09-24    15
3           1A        2019-12-25    20
4           1A        2018-12-30    30
5           1B        2018-12-30    60
6           1B        2019-12-12    40

我想要的是向 df1 添加一个包含平均数量和行数的列，但仅采用 Date < TestDate 的 df2 行

例如，对于客户端 1A，我将只取第 2 行和第 4 行(因为第 1 行和第 3 行的日期晚于 TestDate)，然后为 df1 获取以下输出:

预期 df1 :

ClientID  TestDate      NumberOp  MeanOp
1A        2019-12-24    2         22.5
1B        2019-08-26    1         60
1B        2020-01-12    2         50

注意:对于 1B Client 的第一行，因为 TestDate 是 2019-08-26 ，只看到一个操作(LineNumber 6 操作在 2019-12-12 中完成，所以在 testDate 之后，所以我不考虑它)。

我已经有了代码，但我必须使用 iterrows在我的 df1 ，这需要很长时间:

当前代码(工作但很长):

for index, row in df1.iterrows():
    id = row['ClientID']
    date = row['TestDate']
    df2_known = df2.loc[df2['ClientID'] == id]
    df2_known = df2_known.loc[df2_known['Date'] < date]
    df1.loc[index, 'NumberOp'] = df2_known.shape[0]
    df1.loc[index, 'MeanOp'] = df2_known['Amount'].mean()

我想到了使用聚合和类似 mean 的命令和 count ，但我必须按日期过滤每一行的事实是一个我无法弄清楚的大问题。 非常感谢您提前提供帮助。

编辑:剩余问题:

答案编辑中给出的修复(“如果您想保留 df2 的缺失匹配键”)与我的问题不对应。

事实上，如果 df2 中的操作无法用于计算均值和计数，我想避免丢失 df1 的等效行。 我将通过示例向您展示问题:

df = df2.merge(df1, on=['ClientID'], how='right')
print(df[df['ClientID'] == '5C'])

Output :
ClientID  TestDate    Date          Amount
5C        2019-12-12  2020-01-12    50     

如果我执行 groupby和 transform正如答案中给出的那样，我的输出不会有任何行 CliendID == '5C' ，因为 Date < TestDate和 Date is null永远不会发生，所以当我这样做时线路丢失了df = df[(df['Date']<df['TestDate']) | (df['Date'].isnull())] .我个人想和CliendID == '5C'吵架在我的最终输出中，它看起来像这样:

ClientID  TestDate      NumberOp  MeanOp
5C        2019-12-12    0         NaN

Answer 1

您可以合并和转换:

df = df2.merge(df1, on=['ClientID'])
#filter based on condition
df = df[df['Date']<df['TestDate']]
#get the mean and count into new columns
df['MeanOp'] = df.groupby(['ClientID'])['Amount'].transform('mean')
df['NumberOp'] = df.groupby(['ClientID'])['Amount'].transform('count')
#drop duplicates and irrelevant columns
df = df.drop(['Amount','Date','LineNumber'],1).drop_duplicates()

输出:

  ClientID    TestDate  MeanOp  NumberOp
1       1A  2019-12-24    22.5         2
4       1B  2019-08-26    70.0         1

编辑:如果您想保留 df2 的缺失匹配键:

df = df2.merge(df1, on=['ClientID'], how='right')
df = df[(df['Date']<df['TestDate']) | (df['Date'].isnull())]
df['MeanOp'] = df.groupby(['ClientID'])['Amount'].transform('mean')
df['NumberOp'] = df.groupby(['ClientID'])['Amount'].transform('count')
df = df.drop(['Amount','Date','LineNumber'],1).drop_duplicates()

例子:

df1:

  ClientID    TestDate
0       1A  2019-12-24
1       1B  2019-08-26
2       1C  2019-08-26

output:

  ClientID    TestDate  MeanOp  NumberOp
1       1A  2019-12-24    22.5         2
4       1B  2019-08-26    70.0         1
5       1C  2019-08-26     NaN         0

更新:根据对帖子的编辑，如果您想按(Client_ID, TestDate) 对它们进行分组:

df = df2.merge(df1, on=['ClientID'], how='right')
df = df[(df['Date']<df['TestDate']) | (df['Date'].isnull())]
df['MeanOp'] = df.groupby(['ClientID','TestDate'])['Amount'].transform('mean')
df['NumberOp'] = df.groupby(['ClientID','TestDate'])['Amount'].transform('count')
df = df.drop(['Amount','Date','LineNumber'],1).drop_duplicates()

输出:

df1
  ClientID    TestDate
0       1A  2019-12-24
1       1B  2019-08-26
2       1B  2020-01-12
3       1C  2019-08-26

df2
   LineNumber ClientID        Date  Amount
0           1       1A  2020-01-12      50
1           2       1A  2019-09-24      15
2           3       1A  2019-12-25      20
3           4       1A  2018-12-30      30
4           5       1B  2018-12-30      60
5           6       1B  2019-12-12      40

df
  ClientID    TestDate  MeanOp  NumberOp
1       1A  2019-12-24    22.5         2
4       1B  2019-08-26    60.0         1
6       1B  2020-01-12    50.0         2
8       1C  2019-08-26     NaN         0