(ABC,****,tool1,12)
(ABC,****,tool1,10)
(ABC,****,tool1,13)
(ABC,****,tool2,101)
(ABC,****,tool3,11)
以上是输入数据
以下是我在 pig 中的数据集。
Schema is : Username,ip,tool,duration
我想添加相同工具的持续时间
输出
(ABC,****,tool1,35)
(ABC,****,tool2,101)
(ABC,****,tool3,11
最佳答案
对持续时间使用 GROUP BY 和 SUM。
A = LOAD 'data.csv' USING PigStorage(',') AS (Username:chararray,ip:chararray,tool:chararray,duration:int);
B = GROUP A BY (Username,ip,tool);
C = FOREACH B GENERATE FLATTEN(group) AS (Username,ip,tool),SUM(A.duration);
DUMP C;
关于hadoop - 根据 pig 的字段比较元组,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38831861/