假设我有一个字符串,其中包含来自数据库或电子表格的逗号分隔格式的数据。
例如:
data = "hello,how,are,you,232.3354,good morning"
假设这些“记录”中可能有 200 个字段。
我只想查看此记录的某些字段。在 Python 中获取它们的最快方法是什么?
最简单的方法是这样的:
fields = data.split(",")
result = [fields[4], fields[12], fields[123]]
有没有更快的方法来做到这一点,利用以下事实:
- 您只需要为结果分配一个包含 3 个元素和 3 个字符串对象的列表。
- 到达字段 123 后,您可以停止扫描数据字符串。
我尝试使用重复调用来编写一些代码来查找跳过传递的逗号,但是如果最后一个字段在字符串下方太远,这会比基本拆分解决方案慢。
我正在处理数百万条记录,因此欢迎任何加速。
最佳答案
除了将所有内容加载到内存中然后删除您需要的部分之外,您不会做得更好。我的建议是压缩和更好的库。
碰巧我有几个大小合理的 csv(这个是 500k 行)。
> import gzip
> import pandas as pd
> %timeit pd.read_csv(gzip.open('file.csv.gz'))
1 loops, best of 3: 545 ms per loop
删除列也很快,我不确定主要成本是多少。
> %timeit csv[['col1', 'col2']]
100 loops, best of 3: 5.5 ms per loop
关于python - 在 Python 中从逗号分隔的字符串中仅提取某些字段的最快方法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16619882/