python - 从已排序的超大文件(每个 200G)列表中删除重复项的最佳方法？

Question

• 之前提出的其他问题没有回答我的问题!

我有一系列大文件(200 G)，每个文件都经过排序并包含重复项，如下所示:

 50.21.180.100|a.ac
 50.21.180.100|a.ac
 50.21.180.100|a.ac
 50.21.180.100|a.ac
 50.21.180.100|a.ac
 50.21.180.100| b.ac
 50.21.180.100| b.ac
 50.21.180.100|b.ac
 50.21.180.100|b.ac
 50.21.180.100|b.ac
 50.21.180.100| c.ac
 50.21.180.100| c.ac
 50.21.180.100|c.ac
 50.21.180.100|c.ac
 50.21.180.100|c.ac
 50.21.180.100|c.ac
 50.21.180.100| d.ac

预期输出:

50.21.180.100|a.ac
50.21.180.100|b.ac
50.21.180.100|c.ac
50.21.180.100|d.ac

是否有人对删除这些重复项的最佳方法(时间和内存方面)有任何建议？是使用 Linux bash 还是 Python 或者其他语言？

Answer 1

首先删除空格，然后运行uniq:

cat infile.txt | tr -d " " | uniq > outfile.txt