hadoop - 在正斜杠和反斜杠之间过滤数据

Question

我正在使用 Pig Latin 来过滤数据记录，下面提到的行是我卡住的记录。 输入行: /ACTRC5/TXN08/SCR301\/SEQ/TEX021\@

我期望的输出是: ACTRC5,TXN08,SCR301,SEQ,TEX021

反斜杠的次数可以是任意次数，输入记录可以很长。我不确定应该使用哪种方法来获取输出。

非常感谢任何帮助/建议。

Answer 1

这是您的问题的解决方案:

文件 problem.txt 包含以下数据以及任意序列的\或特殊字符:

示例数据 -- //ACTRC5//TXN08/SCR301/SEQ//TEX021\@

第一步是简单加载数据:

A = LOAD 'problem.txt' as line;

--The next two steps use the String Replace function to clean the data as per your needs:

B = FOREACH A GENERATE REPLACE(line,'([^a-zA-Z0-9\\s]+)',',') AS (data:chararray);

C = FOREACH B GENERATE REPLACE(data,'(^,|,$)','');

DUMP C;

输出:ACTRC5,TXN08,SCR301,SEQ,TEX021

这里我使用了两个阶段来清理数据，稍后我会尝试发布单步解决方案。这应该对现在有所帮助。