我有一个超过 100 万行的 DataFrame。我想选择特定列包含特定子字符串的所有行:
matching = df['col2'].str.contains('substr', case=True, regex=False)
rows = df[matching].col1.drop_duplicates()
但是这个选择很慢,我想加快速度。假设我只需要前 n 个结果。有没有办法在得到 n 个结果后停止匹配
?我试过:
matching = df['col2'].str.contains('substr', case=True, regex=False).head(n)
和:
matching = df['col2'].str.contains('substr', case=True, regex=False).sample(n)
但它们并没有更快。第二个语句是 bool 值并且非常快。我怎样才能加快第一个声明?
最佳答案
信不信由你,但 .str 访问器很慢。您可以使用具有更好性能的列表理解。
df = pd.DataFrame({'col2':np.random.choice(['substring','midstring','nostring','substrate'],100000)})
相等性测试
all(df['col2'].str.contains('substr', case=True, regex=False) ==
pd.Series(['substr' in i for i in df['col2']]))
输出:
True
时间:
%timeit df['col2'].str.contains('substr', case=True, regex=False)
10 loops, best of 3: 37.9 ms per loop
对比
%timeit pd.Series(['substr' in i for i in df['col2']])
100 loops, best of 3: 19.1 ms per loop
关于python - pandas:如何限制 str.contains 的结果?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49306324/