hadoop - 当键分为几列时，如何在 Apache Pig 中加入两个商店？

Question

我有两个存储的数据集:

A
ASDFGFG 5 7 8 9
B
ASDFG FG 5 7 8 9

我想按 A1 和 B1+2 加入这两个数据集。我知道数据集 A 中的 col 1 等于数据集 B 中的 cols 1+2。它们相同，但在 B 中拆分。我也知道 B1 的长度始终为 5 个字符，但我不能确定 B2将是 2 个字符。

最好不修改源文件，我该如何执行这样的连接？

Answer 1

您可以使用 CONCAT(b1,b2) 作为 b1_new 在关系 B 中生成一个新列，然后加入 A 和新关系说 B_New 使用 B_New 中的新列。假设您的文件是制表符分隔的

A = LOAD 'A.txt' USING PigStorage('\t') AS (a1:chararray,a2:int,a3:int,a4:int,a5:int);
B = LOAD 'B.txt' USING PigStorage('\t') AS (b1:chararray,b2:chararray,b3:int,b4:int,b5:int,b6:int);
B_New = FOREACH B GENERATE CONCAT(b1,b2) AS b1_new,b3,b4,b5,b6;
AB = JOIN A BY a1,B_New BY b1_new;
DUMP AB;