python - 过滤 pandas 数据框中的值的最快方法

Question

可以创建类似的数据框:

import pandas as pd

df = pd.DataFrame()
df["nodes"] = list(range(1, 11))
df["x"] = [1,4,9,12,27,87,99,121,156,234]
df["y"] = [3,5,6,1,8,9,2,1,0,-1]
df["z"] = [2,3,4,2,1,5,9,99,78,1]

df.set_index("nodes", inplace=True)

所以数据框看起来像这样:

        x        y        z
nodes
1       1        3        2
2       4        5        3
3       9        6        4
4       12       1        2
5       27       8        1
6       87       9        5
7       99       2        9
8       121      1        99
9       156      0        78
10      234      -1       1

我第一次尝试搜索，例如所有包含数字 1 的节点是:

>>> df[(df == 1).any(axis=1)].index.values
[1 4 5 8 10]

由于我必须对许多数字执行此操作，并且我的真实数据框比这个大得多，因此我正在寻找一种非常快速的方法来执行此操作。

Answer 1

刚刚尝试了一些可能有启发性的东西

import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.randint(0,100,size=(10000, 4)), columns=list('ABCD'))
df.set_index("A", inplace=True)
df_no_index = df.reset_index()

因此，设置一个包含整数的数据框。这与您的不一样，但已经足够了。

然后我进行了四次测试

%timeit df[(df == 1).any(axis=1)].index.values
%timeit df[(df['B'] == 1) | (df['C']==1)| (df['D']==1)].index.values
%timeit df_no_index[(df_no_index == 1).any(axis=1)].A.values
%timeit df_no_index[(df_no_index['B'] == 1) | (df_no_index['C']==1)| (df_no_index['D']==1)].A.values

我得到的结果是，

940 µs ± 41.4 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
1.47 ms ± 7.34 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
1.08 ms ± 14.6 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
1.55 ms ± 51.5 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

这表明您采用的带有索引的初始方法似乎是这些方法中最快的。删除索引不会提高中等大小的数据帧的速度