scala - 实例化 'org.apache.spark.sql.hive.HiveSessionState'时出错:在Linux服务器上

Question

我有一个Scala Spark应用程序，正在尝试使用Shell脚本在Linux服务器上运行。我收到错误消息:

Exception in thread "main" java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState':

但是，我不明白哪里出了问题。我这样做是为了实例化Spark:

val sparkConf = new SparkConf().setAppName("HDFStoES").setMaster("local")

      val spark: SparkSession = SparkSession.builder.enableHiveSupport().config(sparkConf).getOrCreate()

我是否正确执行此操作，如果是这样，可能是什么错误？

Answer 1

sparkSession = SparkSession.builder().appName("Test App").master("local[*])
                .config("hive.metastore.warehouse.dir", hiveWareHouseDir)
                .config("spark.sql.warehouse.dir", hiveWareHouseDir).enableHiveSupport().getOrCreate();

在以上使用中，您需要指定"hive.metastore.warehouse.dir"目录以在spark session 中启用配置单元支持。