apache-spark - 齐柏林飞艇 : Not Showing Hive Database/tables in HDP3. 0

标签 apache-spark hadoop hive hortonworks-data-platform apache-zeppelin

我已经安装了 Hortonworks hdp3.0 并配置了 Zeppelin。

当我运行 spark 或 sql 时,Zeppelin 只显示默认数据库(这是 Spark 的默认数据库,位置为“/apps/spark/warehouse”,而不是 Hive 的默认数据库)。这可能是因为 hive.metastore.warehouse.dir 属性不是从 hive-site.xml 设置的,而 zeppelin 是从 Spark 配置 (spark.sql.warehouse.dir) 中选择的。

我对 spark 也有类似的问题,这是由于 spark-conf 目录中的 hive-site.xml 文件,我能够通过将 hive-site.xml 从 hive-conf 目录复制到 spark-conf 来解决这个问题目录。

我也为 Zeppelin 做了同样的事情,将 hive-site.xml 复制到 zeppelin 目录中(它有 zeppelin-site.xml 并且还复制到 zeppelin-external-dependency-conf 目录中。

但这并没有解决问题。

最佳答案

将 hive-site.xml 从 hive-conf 目录复制到 spark-conf 目录后,我重新启动了恢复这些更改的 spark 服务,我再次复制了 hive-site.xml,它现在可以工作了。

cp /etc/hive/conf/hive-site.xml /etc/spark2/conf

关于apache-spark - 齐柏林飞艇 : Not Showing Hive Database/tables in HDP3. 0,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52338584/

相关文章:

hive - Sqoop 使用 Hive 表名称将 hive 表导出到 RDBMS

python - PySpark SQL 中的日期时间范围过滤器

scala - 为什么我的 DecisionTreeClassifier 模型在预测时提示 labelCol 不存在?

hadoop - Spark SQL "Limit"

scala - 我无法使用流模式在 apache Spark 中使用 scala 进行在线预测来制作数据帧

hadoop - 我们是否应该更改所有节点中 Hadoop 集群的主从配置文件?

sql - Hadoop/Hive-将单行拆分为多行并存储到新表中

hadoop - 如何在 "insert"脚本中设置输出文件的数量或大小?

apache-spark - SparkSQL 列查询不显示列内容?

java - 配置单元查询执行:失败,发生异常java.io.IOException:org.apache.avro.AvroTypeException:发现了两次,期望联合