linux - 按另一列的值计算一个列组的值数

Question

我有一个这样的文本文件:

asn|prefix|ip|domain
25008|85.192.184.0/21|85.192.184.59|solusi-it.com
25008|85.192.184.0/21|85.192.184.59|samtimes.ru
131755|103.31.224.0/24|103.31.224.58|karosel-ind.com
131755|103.31.224.0/24|103.31.224.58|solusi-it.com
9318|1.232.0.0/13|1.234.91.168|solusi-it.com
9318|1.232.0.0/13|1.234.91.168|es350.co.kr

有没有一种方法可以使用 Linux Bash 命令计算唯一域中唯一 ip 的数量并得到这样的结果？

domain|count_ip
solusi-it.com|3
samtimes.ru|1
karosel-ind.com|1
es350.co.kr|1

Answer 1

与 perl :

perl -F'\|' -lane '                                                            
    $. > 1 and $domains->{$F[3]}->{$F[2]}++;
    END{
        print "domain|count_ip";
        print $_, "|", scalar keys %{ $domains->{$_} } for keys %$domains;
    }
' file | tee new_file

这背后的想法是使用 HASH 的 HASH

$domains->{$F[3]}->{$F[2]}++

$F[3] 是域，$F[2] 是 IP。唯一性是保证。哈希键始终是唯一的。

输出:

domain|count_ip
es350.co.kr|1
karosel-ind.com|1
samtimes.ru|1
solusi-it.com|3