hadoop - Pig Latin 中的 FOREACH 多个数据

Question

我可以用 Pig Latin 做这样的事情吗？

data1 = LOAD 'hadoop/text1.txt' AS (line:chararray);
data2 = LOAD 'hadoop/text2.txt' AS (line:chararray);

mixed = FOREACH data1, data2 GENERATE data1:line, data2:line;

Answer 1

一般来说，按照您的要求做是没有意义的，因为数据将由多个映射器加载，可能一次加载一行。不能保证相同的映射器会看到相应的行，也不能保证映射器知道他们正在读取哪个 block 的哪一行。正如 WinnieNicklaus 提到的，最好的办法是标记线条并进行连接。