sed - 如何删除文件中的重复行...AWK、SED、UNIQ 不适用于我的文件

我找到了很多方法来做到这一点，AWK、SED、UNIQ，但它们都不适用于我的文件。

我想删除重复的行。这是我的文件的一部分的示例:

KTBX
KFSO
KCLK
KTBX
KFSO
KCLK
PAJZ
PAJZ

注意:当我从文件中剪切和粘贴时，我必须手动添加换行符...由于某种原因，它将所有变量放在一行上。让我觉得我的 44,000 行文本文件实际上只有“1”行？有没有办法修改它以便我可以删除重复项？

最佳答案

您可以使用此命令查看所有非打印字符:

od -c oldfile

如果您的所有记录都在一行，您可以使用sed to replace带有换行符的空白(空格、制表符、换行符):

sed -e 's/\s\+/\n/g' oldfile > oldfile.1

一旦你有多行，这个 awk 单行:

awk '!x[$0]++' oldfile.1 > newfile

我的输出文件:

KTBX
KFSO
KCLK
PAJZ

关于sed - 如何删除文件中的重复行...AWK、SED、UNIQ 不适用于我的文件，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/19039036/

相关文章：

sed - 如何使用 sed 或 awk 替换文本？