python - 比较 Pandas Dataframe 行和删除具有重叠日期的行

Question

我有一个数据框，其中包含从交易策略中获取的交易。交易策略中的逻辑需要更新，以确保如果策略已经在交易中则不会进行交易——但这是一个不同的问题。许多先前交易的交易数据从 csv 文件读入数据框。

这是我的数据问题: 我需要对数据帧进行逐行比较，以确定 rowX 的 Entrydate 是否小于 ExitDate rowX-1。

我的数据样本:

Row 1:
EntryDate  ExitDate
2012-07-25 2012-07-27 

Row 2:
EntryDate  ExitDate
2012-07-26 2012-07-29

第 2 行需要删除，因为这是不应该发生的交易。

我无法确定哪些行是重复的，然后删除它们。我尝试了 approach in answer 3 of this question运气不错，但这并不理想，因为我必须手动遍历数据框并读取每一行的数据。我目前的方法在下面并且很丑陋。我检查日期，然后将它们添加到新的数据框中。此外，这种方法在最终数据框中提供了多个重复项。

for i in range(0,len(df)+1):
    if i+1 == len(df): break #to keep from going past last row
    ExitDate = df['ExitDate'].irow(i)
    EntryNextTrade = df['EntryDate'].irow(i+1)

    if EntryNextTrade>ExitDate: 
        line={'EntryDate':EntryDate,'ExitDate':ExitDate}
        df_trades=df_trades.append(line,ignore_index=True)

关于如何更有效地完成此任务的任何想法或想法？

您可以 click here如果您想尝试重现我的实际数据框，请查看我的数据样本。

Answer 1

你应该使用某种 bool 掩码来做这种操作。

一种方法是为下一次交易创建一个虚拟列:

df['EntryNextTrade'] = df['EntryDate'].shift()

使用它来创建 mask :

msk = df['EntryNextTrade'] > df'[ExitDate']

然后使用 loc 查看 msk 为 True 的 subDataFrame，并且只查看指定的列:

df.loc[msk, ['EntryDate', 'ExitDate']]