java - 尝试在 Apache Kylin 中为示例数据构建多维数据集时出现 java.io.FileNotFoundException : File does not exist: hive-exec-2. 1.0.jar 错误

标签 java hadoop hive hbase kylin

我使用以下技术的以下版本安装了 Apache kylin:-

Apache Hadoop: - 2.7.3 
Apache Hive: - 2.1.0
Apache Hbase:- 1.2.4
Apache Kylin: - 1.6

我可以使用随设置提供的 sample.sh 文件在 Apache Kylin 中加载数据。但是,当我尝试为某个时间范围构建多维数据集时,在“构建多维数据集”过程的第 3 步中出现以下错误

File does not exist: 
hdfs://localhost:54310/app/hadoop/tmp/mapred/staging/hduser341814501/.staging/job_local341814501_0007/libjars/hive-exec-2.1.0.jar

其中 hduser 是启动 kylin 并尝试构建立方体的用户。

我检查了目录结构,发现 app/hadoop/tmp/mapred/staging/hduser341814501/.staging 文件夹中没有目录或文件

kylin 是否尝试创建此目录结构并将 hive-exec-2.1.0.jar 放入该目录结构中,但由于某些权限问题而无法这样做?

还是因为其他错误而出现?

不过,kylin 正在寻找的 jar 存在于 hdfs://localhost:54310/usr/local//hivr/lib 文件夹中。 kylin 是否也有可能在错误的位置寻找 jar ?

谁能帮我解决我做错了什么?

最佳答案

Kylin 会从类路径中寻找 hive jar,然后在提交 MR 作业时使用“tmpjars”属性指定它。请检查您的环境:

1) 运行$KYLIN_HOME/bin/find-hive-dependency.sh,查看输出;

2) 在 $KYLIN_HOME/logs/kylin.log 中搜索“Hive Dependencies After Filtered”,它应该记录提交到 Hadoop 作业的依赖 jar,例如:

logs/kylin.log.2017-03-07:2017-03-07 11:58:18,772 INFO  [pool-6-thread-16] common.AbstractHadoopJob:203 : Hive Dependencies After Filtered: /usr/hdp/2.5.4.0-121/hive/lib/hive-metastore-1.2.1000.2.5.4.0-121.jar,/usr/hdp/2.5.4.0-121/hive/lib/hive-exec-1.2.1000.2.5.4.0-121.jar,/usr/hdp/2.5.4.0-121/hive-hcatalog/share/hcatalog/hive-hcatalog-core-1.2.1000.2.5.4.0-121.jar

还要检查 Kylin 运行的机器上是否存在这些 jar。

关于java - 尝试在 Apache Kylin 中为示例数据构建多维数据集时出现 java.io.FileNotFoundException : File does not exist: hive-exec-2. 1.0.jar 错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41032149/

相关文章:

包含反斜杠的 Java 命令行参数

java - 从 Java 写入 HDFS,得到 "could only be replicated to 0 nodes instead of minReplication"

hadoop - 在 EvalFunc pig UDF 中抛出异常是跳过那一行,还是完全停止?

hadoop - oozie - 捕获日期并将其作为配置单元参数传递

java - 我可以在 Eclipse 上运行一个程序来打开控制台,然后打开一个处理窗口吗?

java - 在 JSP 中验证表单

java - 显式加载 - java.lang.ClassLoader

hadoop - 具有紧凑存储选项的 Cassandra/Hadoop。为什么需要它,是否可以将它添加到现有表/cf

hadoop - 我如何在 HDP 2.2 和 ambari 1.7 中制作多个 hiveserver2

mongodb - HDP沙箱中MongoDB Hadoop连接器故障产生的Hive日志在哪里?