hadoop - apache-pig map-reduce错误分组

标签 hadoop mapreduce apache-pig hortonworks-data-platform

我认为我现在遇到了一个实际问题,需要一些专家建议。
我在grunt shell中的脚本下运行,除了dump d之外,其他所有程序都运行良好;我正在错误以下。

2016-03-28 20:08:30,686 [main] ERROR org.apache.pig.tools.pigstats. mapreduce.MRPigStatsUtil - 1 map reduce job(s) failed!


--I am this script below

a = LOAD '/user/admin/pig/scripts/pig1.csv' USING PigStorage(',') AS (pid chararray,id:int,city:chararray);  
    describe a ;  
    b = LIMIT a 100;  
    C = FOREACH a generate pid, id;  
    dump C;  
    d = group C by pid; dump d;  

请帮忙。

最佳答案

如果问题仅在于dump d;,则该行上可能存在一些隐藏字符。您可以使用BBEdit之类的编辑器并打开show invisibles来查看此行上是否有任何隐藏的特殊字符。我尝试按原样运行脚本,并且可以正常运行。

关于hadoop - apache-pig map-reduce错误分组,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36273540/

相关文章:

java - 如何在 Hadoop2 中指定 Hive 查询的 uberization?

hadoop - pig - 计算整个组的成员

java - Hadoop 错误 java.lang.NoSuchMethodException :- <init>() 中的自定义分区程序

hadoop - Mapreduce 中可以用combiner 代替reduce 吗?

hadoop - 内插文本文件的数据(mapreduce)

hadoop - Hadoop 中的作业历史服务器是什么?为什么在 Map Reduce 模式下启动 Pig 之前必须启动历史服务器?

hadoop - 从Pig生成的CurrentTime()在Hive Datetime列中显示为NULL

java - 如何从Java代码而不是命令提示符运行mahout的逻辑回归?

使用 log4j 的 Hadoop Yarn 任务级日志记录

java - 对 pig 中每 n 个行值求和