我最近将我的集群更新到 CDH 5.7,我正在尝试在 Spark 上运行 Hive 查询处理。
我已将 Hive 客户端配置为使用 Spark 执行引擎和来自 Cloudera Manager 的 Spark 服务上的 Hive 依赖项。
通过 HUE,我只是在运行一个简单的选择查询,但似乎总是出现此错误:处理语句时出错:失败:执行错误,从 org.apache.hadoop.hive.ql.exec 返回代码 3 .spark.Spark任务
以下是相同的日志:
ERROR operation.Operation: Error running hive query:
org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask
at org.apache.hive.service.cli.operation.Operation.toSQLException(Operation.java:374)
at org.apache.hive.service.cli.operation.SQLOperation.runQuery(SQLOperation.java:180)
at org.apache.hive.service.cli.operation.SQLOperation.access$100(SQLOperation.java:72)
at org.apache.hive.service.cli.operation.SQLOperation$2$1.run(SQLOperation.java:232)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1693)
at org.apache.hive.service.cli.operation.SQLOperation$2.run(SQLOperation.java:245)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
at java.util.concurrent.FutureTask.run(FutureTask.java:262)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
任何解决这个问题的帮助都会很棒!
最佳答案
此问题是由于打开的 JIRA:https://issues.apache.org/jira/browse/HIVE-11519 .你应该使用另一个序列化工具..
关于apache-spark - Hive on Spark CDH5.7 执行错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37135532/