twitter - 如何在 Pig 中使用 rcfilepigstorage

Question

我想将一个文本文件加载到 pig 中，然后将其存储为 rc 文件，为此我发现 twitter 在这个链接中提供了一个存储 udf

http://grepcode.com/file/repo1.maven.org/maven2/com.twitter.elephantbird/elephant-bird-rcfile/3.0.8/com/twitter/elephantbird/pig/store/RCFilePigStorage.java

谁能告诉我如何编译它并在我的 pig 代码中使用它？

Answer 1

包括所有 twitter 依赖项和 pig jars 并编译 RCFilePigStorage.java。如果您想更改代码中的某些特定行为，也可以进行更改并将其重命名为 MyRCFilePigStorage.java。

现在将编译后生成的类文件创建一个名为MyRCUdf.jar 的jar 文件。在你的 pigscript 中注册这个 jar。

Register MyRCUdf.jar;
* your pig logic*
Store 'data' using MyRCFilePigStorage();

编辑:考虑以下链接的 Twitter 依赖项。获取源代码，编译并包含在类路径中生成的类

https://github.com/kevinweil/elephant-bird/blob/master/core/src/main/java/com/twitter/elephantbird/mapreduce/input/MapReduceInputFormatWrapper.java

https://github.com/kevinweil/elephant-bird