我正在尝试在 Spark-Shell 中启用 Hive 对 Spark 对象的支持，但它不起作用。我正在使用 Hortonworks HDP。以下是我尝试启用 Hive 支持时得到的结果:
scala> val spark3 = SparkSession.builder.enableHiveSupport.getOrCreate
17/10/24 21:30:28 WARN SparkSession$Builder: Using an existing SparkSession; some configuration may not take effect.
spark3: org.apache.spark.sql.SparkSession = org.apache.spark.sql.SparkSession@22f8be7c
scala> spark3.catalog
res3: org.apache.spark.sql.catalog.Catalog = org.apache.spark.sql.internal.CatalogImpl@49c13ecd
最佳答案
在 HDP 中，spark-shell 已经创建了一个具有 Hive 支持的有效 SparkSession。
您收到警告说 getOrCreate 使用了现有 session
你可以试试
spark.sql("show tables").show()
此外，您使用的是 spark 而不是 spark3，因此不清楚 spark.catalog 将向您显示除该对象的 toString 信息
关于apache-spark - 如何在spark-shell中启用对spark的Hive支持(spark 2.1.1)，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/46922306/