我使用以下技术的以下版本安装了 Apache kylin:-
Apache Hadoop: - 2.7.3
Apache Hive: - 2.1.0
Apache Hbase:- 1.2.4
Apache Kylin: - 1.6
我可以使用随设置提供的 sample.sh
文件在 Apache Kylin 中加载数据。但是,当我尝试为某个时间范围构建多维数据集时,在“构建多维数据集”过程的第 3 步中出现以下错误
File does not exist:
hdfs://localhost:54310/app/hadoop/tmp/mapred/staging/hduser341814501/.staging/job_local341814501_0007/libjars/hive-exec-2.1.0.jar
其中 hduser
是启动 kylin 并尝试构建立方体的用户。
我检查了目录结构,发现 app/hadoop/tmp/mapred/staging/hduser341814501/.staging 文件夹中没有目录或文件
。
kylin 是否尝试创建此目录结构并将 hive-exec-2.1.0.jar
放入该目录结构中,但由于某些权限问题而无法这样做?
还是因为其他错误而出现?
不过,kylin 正在寻找的 jar 存在于 hdfs://localhost:54310/usr/local//hivr/lib 文件夹中
。 kylin 是否也有可能在错误的位置寻找 jar ?
谁能帮我解决我做错了什么?
最佳答案
Kylin 会从类路径中寻找 hive jar,然后在提交 MR 作业时使用“tmpjars”属性指定它。请检查您的环境:
1) 运行$KYLIN_HOME/bin/find-hive-dependency.sh,查看输出;
2) 在 $KYLIN_HOME/logs/kylin.log 中搜索“Hive Dependencies After Filtered”,它应该记录提交到 Hadoop 作业的依赖 jar,例如:
logs/kylin.log.2017-03-07:2017-03-07 11:58:18,772 INFO [pool-6-thread-16] common.AbstractHadoopJob:203 : Hive Dependencies After Filtered: /usr/hdp/2.5.4.0-121/hive/lib/hive-metastore-1.2.1000.2.5.4.0-121.jar,/usr/hdp/2.5.4.0-121/hive/lib/hive-exec-1.2.1000.2.5.4.0-121.jar,/usr/hdp/2.5.4.0-121/hive-hcatalog/share/hcatalog/hive-hcatalog-core-1.2.1000.2.5.4.0-121.jar
还要检查 Kylin 运行的机器上是否存在这些 jar。
关于java - 尝试在 Apache Kylin 中为示例数据构建多维数据集时出现 java.io.FileNotFoundException : File does not exist: hive-exec-2. 1.0.jar 错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41032149/