从 pandas 文档中,我收集到唯一值索引可以提高某些操作的效率,并且偶尔可以容忍非唯一索引。
从外部看,非唯一索引似乎不会以任何方式被利用。例如,下面的 ix
查询速度很慢,以至于它似乎正在扫描整个数据帧
In [23]: import numpy as np
In [24]: import pandas as pd
In [25]: x = np.random.randint(0, 10**7, 10**7)
In [26]: df1 = pd.DataFrame({'x':x})
In [27]: df2 = df1.set_index('x', drop=False)
In [28]: %timeit df2.ix[0]
1 loops, best of 3: 402 ms per loop
In [29]: %timeit df1.ix[0]
10000 loops, best of 3: 123 us per loop
(我意识到两个 ix
查询不会返回相同的内容——这只是一个示例,在非唯一索引上调用 ix
看起来要慢得多)
有什么方法可以让 pandas 使用更快的查找方法,例如对非唯一和/或排序索引进行二分查找?
最佳答案
当索引唯一时,pandas 使用哈希表将键映射到值 O(1)。当索引非唯一且已排序时,pandas 使用二分查找 O(logN),当索引为随机排序时,pandas 需要检查索引中的所有键 O(N)。
你可以调用sort_index
方法:
import numpy as np
import pandas as pd
x = np.random.randint(0, 200, 10**6)
df1 = pd.DataFrame({'x':x})
df2 = df1.set_index('x', drop=False)
df3 = df2.sort_index()
%timeit df1.loc[100]
%timeit df2.loc[100]
%timeit df3.loc[100]
结果:
10000 loops, best of 3: 71.2 µs per loop
10 loops, best of 3: 38.9 ms per loop
10000 loops, best of 3: 134 µs per loop
关于python - pandas 中非唯一索引的性能影响是什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16626058/