例子1.csv
id1, value1
id2, value2
id3, value3
id1, value4
例子2.csv
"06e04,0428","405872,8637110"
"06e04,0428","405872,8637111"
"06e04,0429","405872,8637110"
"06e04,0430","405872,8637110"
"06e04,0431","405872,8637111"
需要去掉column1中有重复值的行,输出如下
要求的输出
example1_out.csv
id2, value2
id3, value3
example2_out.csv
"06e04,0429","405872,8637110"
"06e04,0430","405872,8637110"
"06e04,0431","405872,8637111"
有一些解决方案可以删除重复记录,如本 SO question 中那样保留重复记录之一。 .然而,在这种情况下,所有具有 column1 重复值的行都需要从输出中排除。
最佳答案
这个 awk
可以在一个命令中完成:
awk -F, '{arr[$1]=$0} seen[$1]++{delete arr[$1]} END{for (i in arr) print arr[i]}' file.csv
id2, value2
id3, value3
对于您编辑的问题,请使用:
awk -F'","' '{arr[$1]=$0} seen[$1]++{delete arr[$1]} END{for (i in arr) print arr[i]}' file.csv
"06e04,0429","405872,8637110"
"06e04,0430","405872,8637110"
"06e04,0431","405872,8637111"
关于linux - csv 删除一列中具有重复值的所有行,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42585105/