我正在寻找一种方法来将Pig中的“group by”命令的输出存储到文件中。
(D1,{(A1,null,C1,D1,E1),(null,B1,C1,D1,E1),(A2,null,null,D1,E2)})
(C1,{(A1,null,C1,D1,E1),(null,B1,C1,D1,E1)})
我已经尝试了store命令,但是没有完全按照显示的方式复制数据。
store F into '/tmp/group_out';
是否有其他方法可以将数据复制到文件中,使其显示方式相同?
最佳答案
默认的PigStorage函数(使用STORE调用)在某种程度上是可配置的:http://pig.apache.org/docs/r0.12.0/func.html#pigstorage-您可以设置例如字段和记录定界符。
如果您需要一种特殊的格式来存储数据,则必须实现custom Store UDF。
关于hadoop - 将Pig “GROUP BY”的结果存储到HDFS中,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21186916/