hadoop - OrcNewInputformat作为hadoop流的输入格式

标签 hadoop hive streaming

我正在使用hadoop流,并且想提供输入格式为OrcNewFormat。
我正在执行命令:

hadoop jar hadoop-streaming.jar -libjars /usr/hdp/2.2.4.2-2/hive/lib/hive-exec.jar -input / user / orcfiles -output / streamf -mapper'cat'-inputformat org.apache。 hadoop.hive.ql.io.orc.OrcNewInputFormat -outputformat org.apache.hadoop.hive.ql.io.orc.OrcNewOutputFormat

但我得到以下异常(exception):

    Exception in thread "main" java.lang.RuntimeException: class org.apache.hadoop.hive.ql.io.orc.OrcNewInputFormat not org.apache.hadoop.mapred.InputFormat
        at org.apache.hadoop.conf.Configuration.setClass(Configuration.java:2150)
        at org.apache.hadoop.mapred.JobConf.setInputFormat(JobConf.java:702)
        at org.apache.hadoop.streaming.StreamJob.setJobConf(StreamJob.java:796)
        at org.apache.hadoop.streaming.StreamJob.run(StreamJob.java:128)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)
        at org.apache.hadoop.streaming.HadoopStreaming.main(HadoopStreaming.java:50)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

从这个连结

http://hive.apache.org/javadocs/r1.2.0/api/

我可以看到OrcNewInputFormat类扩展了org.apache.hadoop.mapreduce.InputFormat,但是从异常中我可以弄清楚该org.apache.hadoop.hive.ql.io.orc.OrcNewInputFormat类不是org.apache.hadoop.mapred。 InputFormat。

我在这里想念什么?

最佳答案

现在我输入了错误的类名,它的工作正常。

关于hadoop - OrcNewInputformat作为hadoop流的输入格式,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30319344/

相关文章:

html - 播放带 HTML 视频标签的 m3u8 文件

hadoop - HDFS上的Solr集合创建失败

hadoop - MapReduce中的Java堆空间

sql - 在 Hive 中创建具有当前时间戳(以纳秒为单位)的新列

mysql - Hive 外部表 - 数据位置元数据存储在哪里?

c# - 如何逐行遍历 asp.net 中文本区域的上下文?

nginx - 接收 HLS 流并重播

ubuntu - 为什么我的datanode在hadoop集群上运行,但仍然无法将文件放入hdfs?

hadoop - 执行hadoop jar时出现超时错误./hadoop-examples-1.0.3.jar pi 2 5

sql - 如何使用配置单元表中的 where 条件查找最后更新的记录 ID