hadoop - 未找到(有效)输入数据!在 pig

标签 hadoop apache-pig

我正在使用 Pig 加载 XML 数据。当我发出 ILLUSTRATE 命令时,出现错误。这就是我正在做的事情。

REGISTER piggybank-0.15.0.jar
xml = LOAD '/xml/data/path' using org.apache.pig.piggybank.storage.XMLLoader('doc') as (x:chararray);
ILLUSTRATE xml;

这是错误

.... ..... 2018-03-20 19:56:52,265 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapOnly$Map - 每个作业阶段正在处理的别名(AliasName[line,offset]):M:xml [6,6] C: R: 2018-03-20 19:56:52,266 [main] 错误 org.apache.pig.pen.AugmentBaseDataVisitor - 未找到(有效)输入数据! java.lang.RuntimeException:未找到(有效)输入数据! 在 org.apache.pig.pen.AugmentBaseDataVisitor.visit(AugmentBaseDataVisitor.java:585) 在 org.apache.pig.newplan.logical.relational.LOLoad.accept(LOLoad.java:230) 在 org.apache.pig.pen.util.PreOrderDepthFirstWalker.depthFirst(PreOrderDepthFirstWalker.java:82) 在 org.apache.pig.pen.util.PreOrderDepthFirstWalker.walk(PreOrderDepthFirstWalker.java:66) 在 org.apache.pig.newplan.PlanVisitor.visit(PlanVisitor.java:52) 在 org.apache.pig.pen.ExampleGenerator.getExamples(ExampleGenerator.java:180) 在 org.apache.pig.PigServer.getExamples(PigServer.java:1250) 在 org.apache.pig.tools.grunt.GruntParser.processIllustrate(GruntParser.java:831) 在 org.apache.pig.tools.pigscript.parser.PigScriptParser.Illustrate(PigScriptParser.java:802) 在 org.apache.pig.tools.pigscript.parser.PigScriptParser.parse(PigScriptParser.java:381) 在 org.apache.pig.tools.grunt.GruntParser.parseStopOnError (GruntParser.java:198) 在 org.apache.pig.tools.grunt.GruntParser.parseStopOnError (GruntParser.java:173) 在 org.apache.pig.tools.grunt.Grunt.run(Grunt.java:69) 在 org.apache.pig.Main.run(Main.java:547) 在 org.apache.pig.Main.main(Main.java:158) 在 sun.reflect.NativeMethodAccessorImpl.invoke0( native 方法) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect.Method.invoke(Method.java:606) 在 org.apache.hadoop.util.RunJar.run(RunJar.java:221) 在 org.apache.hadoop.util.RunJar.main(RunJar.java:136) 2018-03-20 19:56:52,283 [main] 错误 org.apache.pig.tools.grunt.Grunt - 错误 2997:遇到 IOException。异常(exception)

我已经验证了数据的路径并确定数据确实存在。为了确认这一点,我使用 PigStorage 而不是 XMLLoader 加载了数据,我可以看到 ILLUSTRATE 命令正在运行,并且转储 xml 的输出中有一些数据。我猜是 XMLLoader 导致了这里的问题。不确定确切的问题。

非常感谢任何帮助

最佳答案

当我尝试对表加载执行 ILLUSTRATE 命令时,我也会遇到这种情况,尝试执行另一个功能并对其进行说明。

关于hadoop - 未找到(有效)输入数据!在 pig ,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49393163/

相关文章:

hadoop - 在 JobContext 中找不到工作信息

apache-spark - 对于相同的配置,Spark s3a会引发403错误

hadoop - 我的 mapreduce 代码中出现以下错误

mysql - 从 Hive 表中提取 XML 数据并解析数据

json - Pig脚本/命令过滤特定字符串上的文件

hadoop - 从 pig 开始

hadoop - Mahout 推荐引擎 : going distributed

apache-pig - Pig 向下舍入到小数点后第 n 位

hadoop - 在远程集群上使用Hbase运行Map Reduce

hadoop - 在hadoop上使用udf运行Pig脚本