有没有办法在 JsonStorage 中使用 bz2 来存储数据？
我试过了
STORE DATA INTO 'path_to_file.bz2’ USING JsonStorage();
但这并不成功。
我可以使用 PigStorage 来完成此操作，但它使用字符分隔符而不是 json 来分隔字段。
最佳答案
1) 在脚本开头打开压缩:
SET mapred.output.compress 'true';
SET mapred.output.compression.codec 'org.apache.hadoop.io.compress.BZip2Codec';
2)存储数据。
STORE DATA INTO 'path_to_file’ USING JsonStorage();
目录中的结果文件应该是 bz2 压缩的。
关于apache-pig - 使用 JsonStorage 和 Apache Pig 保存为 bz2 格式，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/22036062/