所以我有两个非常大的表想要比较(9 列和大约 3000 万行)。
#!/usr/bin/python
import sys
import csv
def compare(sam1, sam2, output):
with open(sam1, "r") as s1, open(sam2, "r") as s2, open(output, "w") as out:
reader1 = csv.reader(s1, delimiter = "\t")
reader2 = csv.reader(s2, delimiter = "\t")
writer = csv.writer(out, delimiter = "\t")
list = []
for line in reader1:
list.append(line[0])
list = set(list)
for line in reader2:
for field in line:
if field not in list:
writer.writerow(line)
if __name__ == '__main__':
compare(sys.argv[1], sys.argv[2], sys.argv[3])
第一列包含我的行的标识符,我想知道哪些行仅在 sam1 中。
这就是我目前正在使用的代码,但需要很长时间。有什么办法可以加快速度吗?
我已经尝试通过将列表转换为集合来加快速度,但没有太大区别。
编辑:现在它运行得更快,但现在我必须从输入表中取出整行,并将具有唯一 ID 的行写入输出文件。我怎样才能快速管理这个问题?
最佳答案
一些建议:
无需创建一个列表,然后将其转换为集合,只需直接使用集合即可:
sam1_identifiers = set() for line in reader1: sam1_identifiers.add(line[0])
这可能更节省内存,因为您有一个集合而不是一个列表和一个集合。这可能会让速度更快一些。
另请注意,我已经更改了变量名称 -
list
是 Python 内置函数的名称,因此您不应将其用于您自己的变量。由于您想要查找仅在 sam1 中存在的标识符,而不是嵌套的 if/for 语句,因此只需比较并丢弃在 sam2 中找到且位于 sam1 的 ID 集中的任何标识符即可。
sam2_identifiers = set() for line in reader2: sam2_identifiers.add(line[0]) print sam1 - sam2
甚至
sam2_identifiers = set() for line in reader2: sam1_identifiers.discard(line[0]) print sam1_identifiers
我怀疑这比嵌套循环更快。
也许我错过了一些东西,但是你没有仔细查看 sam2 的每一列的每一行吗?与 sam1 一样,仅查看
line[0]
中的标识符还不够吗?
关于Python:解析数组中大表第一列的最快方法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31404492/