在我的 pig 脚本中,我有一个 country1 和 country2 的列以及一个 id。在我的国家/地区字段中,一些值类似于以下内容。如何过滤掉至少有 2 个连续相同字符的相似值?
例如:
a = load file
a = generate id, country1, country2
输出:
id1, us, usa
id2, gb, gba
id3, in, ind
id4, in, usa
expected output:
id4, in, usa
最佳答案
使用SUBSTRING获取第 3 列的前两个字符并将其与第 2 列的值进行比较。
B = FILTER A BY (LOWER(A.$1) != SUBSTRING(LOWER(A.$2),0,2));
DUMP B;
关于hadoop - 在 PIG 中如何删除相似值,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41624615/