我正在使用 Pig 加载 XML 数据。当我发出 ILLUSTRATE 命令时,出现错误。这就是我正在做的事情。
REGISTER piggybank-0.15.0.jar
xml = LOAD '/xml/data/path' using org.apache.pig.piggybank.storage.XMLLoader('doc') as (x:chararray);
ILLUSTRATE xml;
这是错误
....
.....
2018-03-20 19:56:52,265 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapOnly$Map - 每个作业阶段正在处理的别名(AliasName[line,offset]):M:xml [6,6] C: R:
2018-03-20 19:56:52,266 [main] 错误 org.apache.pig.pen.AugmentBaseDataVisitor - 未找到(有效)输入数据!
java.lang.RuntimeException:未找到(有效)输入数据!
在 org.apache.pig.pen.AugmentBaseDataVisitor.visit(AugmentBaseDataVisitor.java:585)
在 org.apache.pig.newplan.logical.relational.LOLoad.accept(LOLoad.java:230)
在 org.apache.pig.pen.util.PreOrderDepthFirstWalker.depthFirst(PreOrderDepthFirstWalker.java:82)
在 org.apache.pig.pen.util.PreOrderDepthFirstWalker.walk(PreOrderDepthFirstWalker.java:66)
在 org.apache.pig.newplan.PlanVisitor.visit(PlanVisitor.java:52)
在 org.apache.pig.pen.ExampleGenerator.getExamples(ExampleGenerator.java:180)
在 org.apache.pig.PigServer.getExamples(PigServer.java:1250)
在 org.apache.pig.tools.grunt.GruntParser.processIllustrate(GruntParser.java:831)
在 org.apache.pig.tools.pigscript.parser.PigScriptParser.Illustrate(PigScriptParser.java:802)
在 org.apache.pig.tools.pigscript.parser.PigScriptParser.parse(PigScriptParser.java:381)
在 org.apache.pig.tools.grunt.GruntParser.parseStopOnError (GruntParser.java:198)
在 org.apache.pig.tools.grunt.GruntParser.parseStopOnError (GruntParser.java:173)
在 org.apache.pig.tools.grunt.Grunt.run(Grunt.java:69)
在 org.apache.pig.Main.run(Main.java:547)
在 org.apache.pig.Main.main(Main.java:158)
在 sun.reflect.NativeMethodAccessorImpl.invoke0( native 方法)
在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
在 java.lang.reflect.Method.invoke(Method.java:606)
在 org.apache.hadoop.util.RunJar.run(RunJar.java:221)
在 org.apache.hadoop.util.RunJar.main(RunJar.java:136)
2018-03-20 19:56:52,283 [main] 错误 org.apache.pig.tools.grunt.Grunt - 错误 2997:遇到 IOException。异常(exception)
我已经验证了数据的路径并确定数据确实存在。为了确认这一点,我使用 PigStorage 而不是 XMLLoader 加载了数据,我可以看到 ILLUSTRATE 命令正在运行,并且转储 xml
的输出中有一些数据。我猜是 XMLLoader 导致了这里的问题。不确定确切的问题。
非常感谢任何帮助
最佳答案
当我尝试对表加载执行 ILLUSTRATE 命令时,我也会遇到这种情况,尝试执行另一个功能并对其进行说明。
关于hadoop - 未找到(有效)输入数据!在 pig ,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49393163/