python - Pandas dataframe merge 的性能并不比附加到新列表更好

Question

基本上我有两个列表，我必须检查两个列表中每个值的存在

list A = [1,2,3,4]
list B= [3,4,5]

## just an example. The result would be convert into csv
result = [
[1, true, false],
[2, true, false],   ## 2 only exist in the first list
[3, true, true],    ## 3 exist in both lists
[4, true, true],
[5, false, true]
]

我正在使用列表并设置为将每一行附加到列表中。作为this question建议，我使用 Dataframe merge 来测试性能。

令人惊讶的是，数据框 merge 与 indication 方法并没有优于非常愚蠢的列表解决方案。

两个解决方案在这里

愚蠢的一个:应该是一个 O(n) 的解决方案，因为 checkin 集是 O(1)

def FindDifferences():    
    df1 = pd.read_csv('Gmax_v6_annotation_info.txt', names=['name'], usecols=[0], delimiter='\t')
    df2 = pd.read_csv('Gmax_v9_annotation_info.txt', names=['name'], usecols=[2], delimiter='\t')
    v6_set = set(df1['name'])
    v9_set = set(df2['name'])
    result = []
    for val in v6_set:
        if val in v9_set:
            result.append([val, True, True])
        else:
            result.append([val, True, False])
    for val in v9_set:
        if val not in v6_set:
            result.append([val, False, True])
    result_df = pd.DataFrame(result, columns=['name', 'inv6', 'inv9'])
    result_df.to_csv('result_csv.csv', index=False, header=False)
    return

数据框一，归功于 Psidom

In [13]: def pandas_solution():
    ...:     df1 = pd.read_csv('Gmax_v6_annotation_info.txt', names=['name'], usecols=[0], delimiter='\t')
    ...:     df2 = pd.read_csv('Gmax_v9_annotation_info.txt', names=['name'], usecols=[2], delimiter='\t')
    ...:     df1.merge(df2, how='outer', indicator=True)
                .assign(inv6 = lambda x:x._merge != "right_only", inv9 = lambda x:x._merge != "left_only")
                .drop("_merge", 1).to_csv('resultcsv.csv')

结果

In [7]: %timeit FindDifferences()
1 loop, best of 3: 386 ms per loop

In [16]: %timeit pandas_solution()
1 loop, best of 3: 389 ms per loop

https://github.com/shaoqin2/AlgorithmSpeedTests/tree/master/check_existance_in_two_lists

问题

我想知道引擎盖下发生了什么，以及从这种行为中得到了什么。合并解决方案在直觉上似乎好得多。

Answer 1

df1.merge(df2, how='outer', indicator=True) 本身经过优化，速度非常快。所以你的那部分操作确实应该比你的 O(n) 列表操作更好。

但是，除了调用 merge 之外，您还调用了 DataFrame.assign。此函数将任意函数作为输入，并在您的对象上生成(并设置)输出的任意 dict。

由于 pandas 不知道关于您将要使用的函数的任何信息，因此它无法应用任何巧妙的加速来实现它工作更快。它所能做的就是遍历您的 DataFrame 并一次运行一个输入的操作。这当然不比仅仅遍历一个列表更好!

实现有点难以展示，因为 pandas 在这里用它的 API 做了一些非常聪明的事情。但是，DataFrame.apply 的行为类似，所以这里有一个演示，说明这在实践中意味着什么:

%timeit pd.DataFrame(np.random.randn(100, 100)).sum()
1000 loops, best of 3: 1.2 ms per loop
%timeit pd.DataFrame(np.random.randn(100, 100)).apply(lambda row: sum(row), axis=1)
100 loops, best of 3: 7.63 ms per loop